Shrnutí a klíčová fakta
Provoz vlastních LLM na pronajatých GPU serverech se stává levnějším než cloudová API od objemu 120–180 milionů tokenů měsíčně u modelů 8B–32B. Engine vLLM s PagedAttention a 4bitovou kvantizací AWQ dosahuje 3,5krát vyšší propustnosti než Ollama při plné kontrole nad daty.

Kdy lokální inference LLM poráží cloudová API: soukromí dat, latence a fixní účet

Vlastní provoz velkých jazykových modelů poráží komerční cloudová API vždy, když firma zpracovává přes 150 milionů tokenů měsíčně, podléhá přísným požadavkům GDPR nebo potřebuje deterministický Time to First Token (TTFT) pod 100 ms. Místo variabilních poplatků za token fixuje pronájem bare-metal GPU serveru náklady do předvídatelné měsíční faktury.

Komerční API jako GPT-4o či Claude 3.5 Sonnet přinášejí pro rostoucí SaaS platformy tři omezení: limity požadavků za minutu (RPM/TPM), předávání dat třetím stranám a tiché aktualizace vah modelů, které rozbíjejí striktní JSON parsery. Nasazení otevřených modelů Llama 3.3 70B, Qwen 2.5 32B nebo Mistral Small 24B v privátním VPC tyto závislosti zcela odstraňuje.

Naopak při objemu pod 30 milionů tokenů měsíčně zůstává vlastní GPU karta z více než 90% nevyužitá a platba za token v cloudu vychází výhodněji.

Vzorec výpočtu videopaměti (VRAM) pro váhy modelu, kvantizaci (FP16, INT8, AWQ) a KV-Cache

Videopaměť (VRAM) představuje hlavní hardwarové omezení inference, neboť váhy sítě i dynamická mezipaměť pozornosti (KV-Cache) musí být současně uloženy v rychlé paměti GPU. Přetečení do systémové RAM přes sběrnici PCIe snižuje rychlost generování 10krát až 20krát.

Inženýři dimenzují produkční uzly podle následujícího vzorce:

Potřebná VRAM (GB) = (Parametry_mld × Bajty_na_váhu) + (Tokeny_kontextu × Souběžní_uživatelé × Faktor_KV) + 2,5 GB CUDA

  • FP16 / BF16 (2 bajty na parametr): Plná 16bitová přesnost. Model 70B zabírá 140 GB jen pro statické váhy a vyžaduje dvě karty A100 80GB nebo H100 80GB.
  • INT8 / FP8 (1 bajt na parametr): Snižuje paměťové nároky na polovinu bez měřitelné ztráty kvality na architekturách Hopper (H100) a Ada Lovelace (L40S).
  • AWQ / GPTQ 4-bit (0,5 bajtu na parametr): Komprimuje váhy o 75% (cca 0,55 GB na miliardu parametrů), což umožňuje spustit 70B model na jediné kartě L40S 48GB nebo dvou RTX 4090.

Dynamická KV-Cache roste lineárně s délkou kontextu a počtem relací. Obsluha 32 souběžných dotazů s oknem 8 192 tokenů na modelu 32B spotřebuje dalších 10–14 GB VRAM nad rámec samotných vah.

Velikost modelu Přesnost / Formát Váhy ve VRAM KV-Cache (16 relací, 8k ctx) Doporučená konfigurace GPU Odhadovaný pronájem (2026)
8B (Llama 3.1 / Qwen 2.5) FP16 (16-bit) 16,0 GB 4,2 GB 1x RTX 4090 (24 GB) $180 – $240/měs.
8B (Llama 3.1 / Qwen 2.5) AWQ (4-bit) 5,5 GB 4,2 GB 1x L4 (24 GB) nebo RTX 4000 Ada $140 – $190/měs.
32B (Qwen 2.5 / DeepSeek R1 Distill) AWQ (4-bit) 19,5 GB 8,5 GB 1x NVIDIA L40S (48 GB) $450 – $560/měs.
70B (Llama 3.3 / Qwen 2.5) AWQ (4-bit) 39,0 GB 12,0 GB 2x RTX 4090 (48 GB) nebo 1x A100 80GB $420 – $950/měs.
70B (Llama 3.3) FP8 (8-bit) 70,0 GB 14,0 GB 2x L40S (96 GB) nebo 1x H100 80GB $980 – $1,450/měs.
405B (Llama 3.1) FP8 (8-bit) 405,0 GB 48,0 GB 8x H100 80GB (NVLink uzel) $9,500 – $12,000/měs.

Benchmark produkčních enginů inference: vLLM, TensorRT-LLM, SGLang a Ollama

Volba inferenčního enginu ovlivňuje výkon více než samotný upgrade grafické karty: vLLM a SGLang dosahují na totožném hardwaru 3krát až 4,5krát vyšší propustnosti než Ollama. Klasické enginy předem alokují souvislé bloky pro maximální kontext a plýtvají tak až 60% VRAM.

Produkční servery využívají PagedAttention (virtuální stránkování KV-Cache) a Continuous Batching (průběžné vkládání nových požadavků do běžících GPU cyklů). SGLang navíc přidává RadixAttention pro opakované využití sdílených systémových promptů.

Inferenční engine Propustnost (32B AWQ na L40S, 16 rel.) Medián TTFT (ms) Continuous Batching PagedAttention / RadixCache Optimální nasazení
vLLM (v0.6+) 480 – 540 tok/s 65 ms Ano (nativní) PagedAttention + Prefix Caching Víceuživatelská OpenAI-kompatibilní API
SGLang 530 – 610 tok/s 52 ms Ano (nativní) RadixAttention (přímé znovupoužití) RAG agenti s dlouhými systémovými prompty
TensorRT-LLM 590 – 660 tok/s 45 ms Ano (In-flight) Paged KV-Cache Maximální rychlost na klastrech H100 / FP8
Ollama (llama.cpp) 110 – 145 tok/s 180 ms Omezeno Statická alokace KV Lokální vývojové stanice a jednotlivci

Finanční bod zvratu (Breakeven Point): kolik milionů tokenů denně zaplatí dedikované GPU

Dedikovaný GPU server za $490 měsíčně dosahuje finančního bodu zvratu oproti komerčním API střední třídy zhruba při 6,5 milionech tokenů denně (195 milionů měsíčně). Nad touto hranicí klesají jednotkové náklady na milion tokenů velmi rychle.

Konkrétní výpočet TCO v roce 2026 pro B2B SaaS platformu automatizující klasifikaci dokumentů a podporu (80% vstupních tokenů, 20% výstupních):

  • Cloudové API (úroveň GPT-4o / Claude 3.5 Sonnet): Sazba $2,50 za 1M vstupních a $10,00 za 1M výstupních tokenů dává vážený průměr $4,00 za 1M tokenů. Při 15M denně (450M/měs.) činí faktura $1,800 měsíčně.
  • Vlastní GPU server (1x NVIDIA L40S 48GB): Fixní pronájem $490/měs. s modelem Qwen 2.5 32B AWQ pod vLLM. Při 500 tokenech/s zpracuje přes 43M denně — 450M/měs. vytíží kartu jen z 34%.
  • Skutečná jednotková cena: $490 / 450M tokenů = $1,09 za 1M tokenů (úspora 72,7%, tedy $1,310 měsíčně či $15,720 ročně).

Připočteme-li 4 hodiny měsíčně na DevOps správu ($300/měs.), celkový rozpočet vzroste na $790/měs. a posune bod zvratu na 197,5M tokenů měsíčně (~6,6M/den). Vlastní poměr tokenů si ověřte v kalkulačce jednotkové ekonomiky AI.

Hybridní architektura směrování (LLM Router) a časté chyby nasazení

Nasazení sémantického směrovače (LLM Router), který posílá 80% rutinních dotazů na lokální model 8B–32B a do cloudového API eskaluje jen složitou logiku, snižuje účet za inferenci o 70% až 78% bez ztráty kvality. Brány jako LiteLLM Proxy hodnotí složitost pod 5 ms.

Při přechodu na vlastní GPU týmy často dělají čtyři drahé chyby:

  • Podcenění úzkého hrdla PCIe: Rozdělení modelu 70B na dvě RTX 4090 bez NVLink přidává 15–25% synchronizační latence.
  • Naddimenzovaný maximální kontext: Nastavení --max-model-len 32768 při průměrných promptech 2 000 tokenů zbytečně blokuje KV-Cache a tvoří fronty ve špičce.
  • Neautorizovaný port 8000: Vystavení API bez reverzní proxy a Bearer tokenů vede k okamžitému zneužití výkonu.
  • Produkce na sdíleném GPU VPS: Konkurence na PCIe sběrnici a CPU steal time zhoršují odezvu; podrobnosti popisuje naše srovnání dedikovaného serveru a VPS.

Technický checklist nasazení zabezpečeného vLLM serveru v Dockeru s monitoringem

Produkční uzel vLLM vyžaduje izolaci kontejnerů, fixované ovladače a telemetrii před spuštěním ostrého provozu:

  1. Fixace ovladačů a Container Toolkitu: Nainstalujte ovladač NVIDIA 550+ a nvidia-container-toolkit na Ubuntu 24.04 LTS, funkčnost ověřte příkazem nvidia-smi v kontejneru.
  2. Lokální stažení vah modelu: Uložte kvantizovaný model AWQ/FP8 na lokální NVMe disk s pevným hashem commitu z Hugging Face.
  3. Nastavení paměťových parametrů vLLM: Spusťte obraz vllm/vllm-openai s vlajkami --gpu-memory-utilization 0.90, --enable-prefix-caching a realistickým --max-model-len.
  4. Ochrana přes Reverse Proxy a TLS 1.3: Navažte vLLM na 127.0.0.1:8000 za Nginx, Caddy nebo LiteLLM s omezením požadavků a API klíči.
  5. Napojení Promethea a Grafany: Sbírejte metriky z /metrics a nastavte alarm při zaplnění vllm:gpu_cache_usage_perc nad 85%.
  6. Automatický cloudový fallback: Nastavte orchestraci AI agentů prodeje a podpory na záložní přepnutí při TTFT nad 1 500 ms.
Spočítejte si návratnost GPU klastru: Zadejte denní objem požadavků, délku promptu a cenu pronájmu do kalkulačky jednotkové ekonomiky AI NW24 a zjistěte přesný bod zvratu proti cloudovým API.

Často kladené otázky (FAQ)

Jak rychle spočítat objem videopaměti (VRAM) potřebný pro lokální LLM model?
Vynásobte počet parametrů v miliardách velikostí váhy (2 bajty pro FP16, 0,5 bajtu pro 4-bit AWQ) a přičtěte 20–30% rezervu pro KV-Cache a CUDA. Model 70B ve 4-bit AWQ vyžaduje pro produkční souběh přibližně 45–50 GB VRAM.
Od jakého měsíčního objemu tokenů se vyplatí pronájem GPU serveru místo OpenAI či Anthropic API?
Pronájem serveru s RTX 4090 nebo L40S ($180–$520/měs.) dosáhne bodu zvratu při 120 až 250 milionech tokenů měsíčně oproti komerčním API. Přesný práh spočítáte v kalkulačce jednotkové ekonomiky AI.
Proč produkční týmy volí vLLM místo standardní Ollamy?
vLLM využívá PagedAttention a Continuous Batching, což umožňuje obsloužit 16 až 64 souběžných požadavků bez pádu paměti. Ollama je optimalizována pro lokální vývoj jednoho uživatele a pod vícevláknovou API zátěží výrazně zpomaluje.
Jak moc 4bitová kvantizace (AWQ/GGUF) snižuje přesnost odpovědí v byznysu?
Kvantizace 4-bit AWQ zachovává 98,5% až 99,2% přesnosti FP16 u modelů 32B a 70B a snižuje spotřebu VRAM o 70%. Pro extrakci dat a RAG agenty zákaznické podpory je ztráta kvality zanedbatelná.
Lze podnikové LLM modely spolehlivě provozovat na běžném CPU VPS bez grafické karty?
CPU inference přes llama.cpp stačí jen pro malé modely 3B–8B rychlostí 4–12 tokenů/s pro jednoho uživatele. Produkční provoz vyžaduje propustnost dedikované GPU paměti, jak ukazuje naše srovnání dedikovaného serveru a VPS.
NW

NW24 Infrastructure Lab

Redakční rada NW24. Ověřeno podle úředních registrů, technické dokumentace API a primárních zdrojů.