Kdy lokální inference LLM poráží cloudová API: soukromí dat, latence a fixní účet
Vlastní provoz velkých jazykových modelů poráží komerční cloudová API vždy, když firma zpracovává přes 150 milionů tokenů měsíčně, podléhá přísným požadavkům GDPR nebo potřebuje deterministický Time to First Token (TTFT) pod 100 ms. Místo variabilních poplatků za token fixuje pronájem bare-metal GPU serveru náklady do předvídatelné měsíční faktury.
Komerční API jako GPT-4o či Claude 3.5 Sonnet přinášejí pro rostoucí SaaS platformy tři omezení: limity požadavků za minutu (RPM/TPM), předávání dat třetím stranám a tiché aktualizace vah modelů, které rozbíjejí striktní JSON parsery. Nasazení otevřených modelů Llama 3.3 70B, Qwen 2.5 32B nebo Mistral Small 24B v privátním VPC tyto závislosti zcela odstraňuje.
Naopak při objemu pod 30 milionů tokenů měsíčně zůstává vlastní GPU karta z více než 90% nevyužitá a platba za token v cloudu vychází výhodněji.
Vzorec výpočtu videopaměti (VRAM) pro váhy modelu, kvantizaci (FP16, INT8, AWQ) a KV-Cache
Videopaměť (VRAM) představuje hlavní hardwarové omezení inference, neboť váhy sítě i dynamická mezipaměť pozornosti (KV-Cache) musí být současně uloženy v rychlé paměti GPU. Přetečení do systémové RAM přes sběrnici PCIe snižuje rychlost generování 10krát až 20krát.
Inženýři dimenzují produkční uzly podle následujícího vzorce:
Potřebná VRAM (GB) = (Parametry_mld × Bajty_na_váhu) + (Tokeny_kontextu × Souběžní_uživatelé × Faktor_KV) + 2,5 GB CUDA
- FP16 / BF16 (2 bajty na parametr): Plná 16bitová přesnost. Model 70B zabírá 140 GB jen pro statické váhy a vyžaduje dvě karty A100 80GB nebo H100 80GB.
- INT8 / FP8 (1 bajt na parametr): Snižuje paměťové nároky na polovinu bez měřitelné ztráty kvality na architekturách Hopper (H100) a Ada Lovelace (L40S).
- AWQ / GPTQ 4-bit (0,5 bajtu na parametr): Komprimuje váhy o 75% (cca 0,55 GB na miliardu parametrů), což umožňuje spustit 70B model na jediné kartě L40S 48GB nebo dvou RTX 4090.
Dynamická KV-Cache roste lineárně s délkou kontextu a počtem relací. Obsluha 32 souběžných dotazů s oknem 8 192 tokenů na modelu 32B spotřebuje dalších 10–14 GB VRAM nad rámec samotných vah.
| Velikost modelu | Přesnost / Formát | Váhy ve VRAM | KV-Cache (16 relací, 8k ctx) | Doporučená konfigurace GPU | Odhadovaný pronájem (2026) |
|---|---|---|---|---|---|
| 8B (Llama 3.1 / Qwen 2.5) | FP16 (16-bit) | 16,0 GB | 4,2 GB | 1x RTX 4090 (24 GB) | $180 – $240/měs. |
| 8B (Llama 3.1 / Qwen 2.5) | AWQ (4-bit) | 5,5 GB | 4,2 GB | 1x L4 (24 GB) nebo RTX 4000 Ada | $140 – $190/měs. |
| 32B (Qwen 2.5 / DeepSeek R1 Distill) | AWQ (4-bit) | 19,5 GB | 8,5 GB | 1x NVIDIA L40S (48 GB) | $450 – $560/měs. |
| 70B (Llama 3.3 / Qwen 2.5) | AWQ (4-bit) | 39,0 GB | 12,0 GB | 2x RTX 4090 (48 GB) nebo 1x A100 80GB | $420 – $950/měs. |
| 70B (Llama 3.3) | FP8 (8-bit) | 70,0 GB | 14,0 GB | 2x L40S (96 GB) nebo 1x H100 80GB | $980 – $1,450/měs. |
| 405B (Llama 3.1) | FP8 (8-bit) | 405,0 GB | 48,0 GB | 8x H100 80GB (NVLink uzel) | $9,500 – $12,000/měs. |
Benchmark produkčních enginů inference: vLLM, TensorRT-LLM, SGLang a Ollama
Volba inferenčního enginu ovlivňuje výkon více než samotný upgrade grafické karty: vLLM a SGLang dosahují na totožném hardwaru 3krát až 4,5krát vyšší propustnosti než Ollama. Klasické enginy předem alokují souvislé bloky pro maximální kontext a plýtvají tak až 60% VRAM.
Produkční servery využívají PagedAttention (virtuální stránkování KV-Cache) a Continuous Batching (průběžné vkládání nových požadavků do běžících GPU cyklů). SGLang navíc přidává RadixAttention pro opakované využití sdílených systémových promptů.
| Inferenční engine | Propustnost (32B AWQ na L40S, 16 rel.) | Medián TTFT (ms) | Continuous Batching | PagedAttention / RadixCache | Optimální nasazení |
|---|---|---|---|---|---|
| vLLM (v0.6+) | 480 – 540 tok/s | 65 ms | Ano (nativní) | PagedAttention + Prefix Caching | Víceuživatelská OpenAI-kompatibilní API |
| SGLang | 530 – 610 tok/s | 52 ms | Ano (nativní) | RadixAttention (přímé znovupoužití) | RAG agenti s dlouhými systémovými prompty |
| TensorRT-LLM | 590 – 660 tok/s | 45 ms | Ano (In-flight) | Paged KV-Cache | Maximální rychlost na klastrech H100 / FP8 |
| Ollama (llama.cpp) | 110 – 145 tok/s | 180 ms | Omezeno | Statická alokace KV | Lokální vývojové stanice a jednotlivci |
Finanční bod zvratu (Breakeven Point): kolik milionů tokenů denně zaplatí dedikované GPU
Dedikovaný GPU server za $490 měsíčně dosahuje finančního bodu zvratu oproti komerčním API střední třídy zhruba při 6,5 milionech tokenů denně (195 milionů měsíčně). Nad touto hranicí klesají jednotkové náklady na milion tokenů velmi rychle.
Konkrétní výpočet TCO v roce 2026 pro B2B SaaS platformu automatizující klasifikaci dokumentů a podporu (80% vstupních tokenů, 20% výstupních):
- Cloudové API (úroveň GPT-4o / Claude 3.5 Sonnet): Sazba $2,50 za 1M vstupních a $10,00 za 1M výstupních tokenů dává vážený průměr $4,00 za 1M tokenů. Při 15M denně (450M/měs.) činí faktura $1,800 měsíčně.
- Vlastní GPU server (1x NVIDIA L40S 48GB): Fixní pronájem $490/měs. s modelem Qwen 2.5 32B AWQ pod vLLM. Při 500 tokenech/s zpracuje přes 43M denně — 450M/měs. vytíží kartu jen z 34%.
- Skutečná jednotková cena: $490 / 450M tokenů = $1,09 za 1M tokenů (úspora 72,7%, tedy $1,310 měsíčně či $15,720 ročně).
Připočteme-li 4 hodiny měsíčně na DevOps správu ($300/měs.), celkový rozpočet vzroste na $790/měs. a posune bod zvratu na 197,5M tokenů měsíčně (~6,6M/den). Vlastní poměr tokenů si ověřte v kalkulačce jednotkové ekonomiky AI.
Hybridní architektura směrování (LLM Router) a časté chyby nasazení
Nasazení sémantického směrovače (LLM Router), který posílá 80% rutinních dotazů na lokální model 8B–32B a do cloudového API eskaluje jen složitou logiku, snižuje účet za inferenci o 70% až 78% bez ztráty kvality. Brány jako LiteLLM Proxy hodnotí složitost pod 5 ms.
Při přechodu na vlastní GPU týmy často dělají čtyři drahé chyby:
- Podcenění úzkého hrdla PCIe: Rozdělení modelu 70B na dvě RTX 4090 bez NVLink přidává 15–25% synchronizační latence.
- Naddimenzovaný maximální kontext: Nastavení
--max-model-len 32768při průměrných promptech 2 000 tokenů zbytečně blokuje KV-Cache a tvoří fronty ve špičce. - Neautorizovaný port 8000: Vystavení API bez reverzní proxy a Bearer tokenů vede k okamžitému zneužití výkonu.
- Produkce na sdíleném GPU VPS: Konkurence na PCIe sběrnici a CPU steal time zhoršují odezvu; podrobnosti popisuje naše srovnání dedikovaného serveru a VPS.
Technický checklist nasazení zabezpečeného vLLM serveru v Dockeru s monitoringem
Produkční uzel vLLM vyžaduje izolaci kontejnerů, fixované ovladače a telemetrii před spuštěním ostrého provozu:
- Fixace ovladačů a Container Toolkitu: Nainstalujte ovladač NVIDIA 550+ a
nvidia-container-toolkitna Ubuntu 24.04 LTS, funkčnost ověřte příkazemnvidia-smiv kontejneru. - Lokální stažení vah modelu: Uložte kvantizovaný model AWQ/FP8 na lokální NVMe disk s pevným hashem commitu z Hugging Face.
- Nastavení paměťových parametrů vLLM: Spusťte obraz
vllm/vllm-openais vlajkami--gpu-memory-utilization 0.90,--enable-prefix-cachinga realistickým--max-model-len. - Ochrana přes Reverse Proxy a TLS 1.3: Navažte vLLM na
127.0.0.1:8000za Nginx, Caddy nebo LiteLLM s omezením požadavků a API klíči. - Napojení Promethea a Grafany: Sbírejte metriky z
/metricsa nastavte alarm při zaplněnívllm:gpu_cache_usage_percnad 85%. - Automatický cloudový fallback: Nastavte orchestraci AI agentů prodeje a podpory na záložní přepnutí při TTFT nad 1 500 ms.