Wann lokale LLM-Inferenz Cloud-APIs schlägt: Datenschutz, Latenz und planbare Kosten
Selbst gehostete Sprachmodelle übertreffen kommerzielle Cloud-APIs immer dann, wenn ein Unternehmen mehr als 150 Millionen Token pro Monat verarbeitet, strikte DSGVO-Vorgaben ohne Drittlandtransfer einhalten muss oder eine stabile Time to First Token (TTFT) unter 100 ms benötigt. Statt linear steigender Token-Gebühren fixiert die Miete eines Bare-Metal-GPU-Servers die Infrastrukturkosten auf einen festen Monatsbetrag.
Externe Endpunkte wie GPT-4o oder Claude 3.5 Sonnet erzeugen für wachsende SaaS- und FinTech-Plattformen drei strukturelle Engpässe: unvorhersehbare Rate Limits (RPM/TPM), externe Datenspeicherung sowie unangekündigte Modell-Updates, die strikte JSON-Parser brechen. Offene Modelle wie Llama 3.3 70B, Qwen 2.5 32B oder Mistral Small 24B im eigenen VPC beseitigen diese Abhängigkeiten vollständig.
Bei geringem Volumen unter 30 Millionen Token pro Monat bleibt die Cloud-API jedoch wirtschaftlicher, da eine dedizierte Grafikkarte zu über 90% ungenutzt wäre.
VRAM-Berechnungsformel für Modellgewichte, Quantisierung (FP16, INT8, AWQ) und KV-Cache
Der Videospeicher (VRAM) bildet den zentralen Hardware-Engpass bei der LLM-Bereitstellung, da Modellgewichte und der dynamische Key-Value-Cache (KV-Cache) gleichzeitig im schnellen GPU-Speicher liegen müssen. Ein Überlauf in den System-RAM über PCIe senkt die Generierungsgeschwindigkeit um den Faktor 10 bis 20.
Für die exakte Dimensionierung nutzen Infrastruktur-Teams folgende Formel:
Benötigter VRAM (GB) = (Parameter_Mrd × Bytes_pro_Gewicht) + (Kontext_Token × Parallele_Nutzer × KV_Faktor) + 2.5 GB CUDA-Overhead
- FP16 / BF16 (2 Bytes pro Parameter): Volle 16-Bit-Präzision. Ein 70B-Modell belegt 140 GB allein für statische Gewichte und erfordert zwei A100 80GB oder H100 80GB GPUs.
- INT8 / FP8 (1 Byte pro Parameter): Halbiert den Speicherbedarf ohne messbaren Perplexitätsverlust auf Hopper- (H100) und Ada-Lovelace-Karten (L40S).
- AWQ / GPTQ 4-Bit (0,5 Bytes pro Parameter): Komprimiert Gewichte um 75% (ca. 0,55 GB pro Milliarde Parameter inkl. Skalierungsfaktoren), sodass ein 70B-Modell auf eine einzelne L40S 48GB oder zwei RTX 4090 passt.
Der KV-Cache wächst linear mit Kontextlänge und gleichzeitigen Anfragen. 32 parallele Sitzungen mit 8.192 Token Kontext auf einem 32B-Modell beanspruchen zusätzlich 10–14 GB VRAM.
| Modellgröße | Präzision / Format | Gewichte im VRAM | KV-Cache (16 parallel, 8k Kontext) | Empfohlene GPU-Konfiguration | Geschätzte Monatsmiete (2026) |
|---|---|---|---|---|---|
| 8B (Llama 3.1 / Qwen 2.5) | FP16 (16-Bit) | 16,0 GB | 4,2 GB | 1x RTX 4090 (24 GB) | $180 – $240 |
| 8B (Llama 3.1 / Qwen 2.5) | AWQ (4-Bit) | 5,5 GB | 4,2 GB | 1x L4 (24 GB) oder RTX 4000 Ada | $140 – $190 |
| 32B (Qwen 2.5 / DeepSeek R1 Distill) | AWQ (4-Bit) | 19,5 GB | 8,5 GB | 1x NVIDIA L40S (48 GB) | $450 – $560 |
| 70B (Llama 3.3 / Qwen 2.5) | AWQ (4-Bit) | 39,0 GB | 12,0 GB | 2x RTX 4090 (48 GB) oder 1x A100 80GB | $420 – $950 |
| 70B (Llama 3.3) | FP8 (8-Bit) | 70,0 GB | 14,0 GB | 2x L40S (96 GB) oder 1x H100 80GB | $980 – $1.450 |
| 405B (Llama 3.1) | FP8 (8-Bit) | 405,0 GB | 48,0 GB | 8x H100 80GB (NVLink-Cluster) | $9.500 – $12.000 |
Produktions-Benchmarks der Inferenz-Engines: vLLM, TensorRT-LLM, SGLang und Ollama
Die Wahl der Inferenz-Engine beeinflusst den Durchsatz stärker als ein Hardware-Upgrade: vLLM und SGLang erreichen auf identischen GPUs das 3- bis 4,5-Fache der Ollama-Geschwindigkeit. Ursache ist die Speicherverwaltung: Herkömmliche Engines reservieren zusammenhängende Blöcke für den Maximalkontext und verschwenden bis zu 60% VRAM.
Moderne Server nutzen PagedAttention (virtuelle Seitenverwaltung für den KV-Cache) sowie Continuous Batching (laufendes Einspeisen neuer Anfragen in aktive GPU-Zyklen). SGLang ergänzt dies um RadixAttention zur Wiederverwendung gemeinsamer System-Prompts.
| Inferenz-Engine | Durchsatz (32B AWQ auf L40S, 16 Req.) | Median TTFT (ms) | Continuous Batching | PagedAttention / RadixCache | Optimaler Einsatzbereich |
|---|---|---|---|---|---|
| vLLM (v0.6+) | 480 – 540 Tok/s | 65 ms | Ja (nativ) | PagedAttention + Prefix Caching | Mandantenfähige OpenAI-kompatible APIs |
| SGLang | 530 – 610 Tok/s | 52 ms | Ja (nativ) | RadixAttention (Zero-Copy-Cache) | RAG-Agenten mit langen System-Prompts |
| TensorRT-LLM | 590 – 660 Tok/s | 45 ms | Ja (In-Flight) | Paged KV-Cache | Maximaler Durchsatz auf H100 / FP8-Clustern |
| Ollama (llama.cpp) | 110 – 145 Tok/s | 180 ms | Eingeschränkt | Statische KV-Allokation | Lokale Entwickler-Workstations |
Finanzieller Break-Even-Punkt: Ab wie vielen Millionen Token täglich rechnet sich eigene GPU-Hardware
Ein dedizierter GPU-Server für $490 pro Monat erreicht den finanziellen Break-Even gegenüber kommerziellen Mittelklasse-APIs bei rund 6,5 Millionen Token pro Tag (195 Millionen Token pro Monat). Unterhalb dieser Schwelle kostet ungenutzte Rechenzeit Geld, darüber sinken die Stückkosten pro Million Token drastisch.
Eine reale TCO-Rechnung für 2026 anhand einer B2B-SaaS-Plattform für Dokumentenklassifizierung und Support-Triage (80% Input-Token, 20% Output-Token):
- Cloud-API-Basis (GPT-4o / Claude 3.5 Sonnet): $2,50 pro 1 Mio. Input-Token und $10,00 pro 1 Mio. Output-Token ergeben gewichtet $4,00 pro 1 Mio. Token. Bei 15 Mio. Token/Tag (450 Mio./Monat) liegt die Rechnung bei $1.800/Monat.
- Eigener GPU-Server (1x NVIDIA L40S 48GB): Fixmiete von $490/Monat mit Qwen 2.5 32B AWQ unter vLLM. Bei 500 Token/s Dauerleistung liefert der Server über 43 Mio. Token/Tag – 450 Mio./Monat lasten die Karte nur zu 34% aus.
- Effektive Eigenkosten: $490 / 450 Mio. Token = $1,09 pro 1 Mio. Token (72,7% Kostenersparnis, $1.310/Monat bzw. $15.720/Jahr).
Inklusive 4 Stunden monatlichem DevOps-Aufwand ($300/Monat) steigen die Gesamtkosten auf $790/Monat, was den Break-Even auf 197,5 Mio. Token/Monat (~6,6 Mio./Tag) verschiebt. Prüfen Sie Ihre eigenen Input/Output-Verhältnisse im KI Unit-Economics-Rechner.
Hybride LLM-Router-Architektur und häufige Bereitstellungsfehler
Ein semantischer LLM-Router, der 80% der Routineanfragen an ein lokales 8B–32B-Modell leitet und nur komplexe Logik an Frontier-Cloud-APIs eskaliert, senkt die Inferenzrechnung um 70% bis 78% ohne Qualitätsverlust. Gateways wie LiteLLM Proxy oder RouteLLM bewerten die Prompt-Komplexität in unter 5 Millisekunden.
Beim Umstieg auf eigene GPU-Knoten unterlaufen Teams häufig vier kostspielige Fehler:
- PCIe-Flaschenhälse bei Multi-GPU-Systemen: Das Aufteilen eines 70B-Modells auf zwei RTX 4090 ohne NVLink verursacht 15–25% Synchronisationslatenz über PCIe.
- Überdimensioniertes Kontext-Limit: Ein
--max-model-len 32768bei durchschnittlich 2.000 Token reserviert unnötigen KV-Cache und führt bei Lastspitzen zu Warteschlangen. - Ungeschützte API-Ports: Ein öffentlich erreichbarer Port 8000 ohne Bearer-Authentifizierung führt umgehend zu unbefugtem Ressourcenmissbrauch.
- Produktivbetrieb auf geteilten GPU-VPS-Instanzen: Geteilte PCIe-Busse und CPU-Steal-Time erzeugen unberechenbare Latenzen; Details erläutert unser Vergleich zwischen VPS und Dedicated Server.
Technische Checkliste für gesicherte vLLM-Docker-Deployments mit Monitoring
Ein produktionsreifer vLLM-Knoten erfordert saubere Container-Isolation, fixierte Treiberversionen und Echtzeit-Telemetrie vor dem Live-Betrieb:
- Host-Treiber und Container Toolkit fixieren: Installieren Sie NVIDIA-Treiber 550+ sowie das
nvidia-container-toolkitunter Ubuntu 24.04 LTS und prüfen Sie die GPU-Erkennung mitnvidia-smiim Container. - Modellgewichte lokal vorladen: Laden Sie quantisierte AWQ/FP8-Gewichte per festem Commit-Hash von Hugging Face auf ein lokales NVMe-Volume, um Neustarts netzunabhängig zu halten.
- vLLM-Speicherflags konfigurieren: Starten Sie das Image
vllm/vllm-openaimit--gpu-memory-utilization 0.90,--enable-prefix-cachingund realistischem--max-model-len. - TLS 1.3 und API-Keys per Reverse Proxy erzwingen: Binden Sie vLLM an
127.0.0.1:8000und schalten Sie Nginx, Caddy oder LiteLLM mit Rate-Limiting davor. - Prometheus- und Grafana-Metriken anbinden: Überwachen Sie den Endpunkt
/metricsund richten Sie Alarme ein, sobaldvllm:gpu_cache_usage_percüber 85% steigt. - Automatischen Cloud-Fallback aktivieren: Konfigurieren Sie Ihre KI-Agenten-Orchestrierung so, dass sie bei TTFT über 1.500 ms nahtlos auf ein Cloud-API umschaltet.