Zusammenfassung & Fakten
Der Betrieb eigener LLMs auf gemieteten GPU-Servern wird ab 120–180 Millionen Token pro Monat für 8B–32B-Modelle günstiger als kommerzielle Cloud-APIs. vLLM mit PagedAttention und 4-Bit-AWQ-Quantisierung erzielt einen 3,5-fach höheren Durchsatz als Ollama bei vollständiger Datenhoheit.

Wann lokale LLM-Inferenz Cloud-APIs schlägt: Datenschutz, Latenz und planbare Kosten

Selbst gehostete Sprachmodelle übertreffen kommerzielle Cloud-APIs immer dann, wenn ein Unternehmen mehr als 150 Millionen Token pro Monat verarbeitet, strikte DSGVO-Vorgaben ohne Drittlandtransfer einhalten muss oder eine stabile Time to First Token (TTFT) unter 100 ms benötigt. Statt linear steigender Token-Gebühren fixiert die Miete eines Bare-Metal-GPU-Servers die Infrastrukturkosten auf einen festen Monatsbetrag.

Externe Endpunkte wie GPT-4o oder Claude 3.5 Sonnet erzeugen für wachsende SaaS- und FinTech-Plattformen drei strukturelle Engpässe: unvorhersehbare Rate Limits (RPM/TPM), externe Datenspeicherung sowie unangekündigte Modell-Updates, die strikte JSON-Parser brechen. Offene Modelle wie Llama 3.3 70B, Qwen 2.5 32B oder Mistral Small 24B im eigenen VPC beseitigen diese Abhängigkeiten vollständig.

Bei geringem Volumen unter 30 Millionen Token pro Monat bleibt die Cloud-API jedoch wirtschaftlicher, da eine dedizierte Grafikkarte zu über 90% ungenutzt wäre.

VRAM-Berechnungsformel für Modellgewichte, Quantisierung (FP16, INT8, AWQ) und KV-Cache

Der Videospeicher (VRAM) bildet den zentralen Hardware-Engpass bei der LLM-Bereitstellung, da Modellgewichte und der dynamische Key-Value-Cache (KV-Cache) gleichzeitig im schnellen GPU-Speicher liegen müssen. Ein Überlauf in den System-RAM über PCIe senkt die Generierungsgeschwindigkeit um den Faktor 10 bis 20.

Für die exakte Dimensionierung nutzen Infrastruktur-Teams folgende Formel:

Benötigter VRAM (GB) = (Parameter_Mrd × Bytes_pro_Gewicht) + (Kontext_Token × Parallele_Nutzer × KV_Faktor) + 2.5 GB CUDA-Overhead

  • FP16 / BF16 (2 Bytes pro Parameter): Volle 16-Bit-Präzision. Ein 70B-Modell belegt 140 GB allein für statische Gewichte und erfordert zwei A100 80GB oder H100 80GB GPUs.
  • INT8 / FP8 (1 Byte pro Parameter): Halbiert den Speicherbedarf ohne messbaren Perplexitätsverlust auf Hopper- (H100) und Ada-Lovelace-Karten (L40S).
  • AWQ / GPTQ 4-Bit (0,5 Bytes pro Parameter): Komprimiert Gewichte um 75% (ca. 0,55 GB pro Milliarde Parameter inkl. Skalierungsfaktoren), sodass ein 70B-Modell auf eine einzelne L40S 48GB oder zwei RTX 4090 passt.

Der KV-Cache wächst linear mit Kontextlänge und gleichzeitigen Anfragen. 32 parallele Sitzungen mit 8.192 Token Kontext auf einem 32B-Modell beanspruchen zusätzlich 10–14 GB VRAM.

Modellgröße Präzision / Format Gewichte im VRAM KV-Cache (16 parallel, 8k Kontext) Empfohlene GPU-Konfiguration Geschätzte Monatsmiete (2026)
8B (Llama 3.1 / Qwen 2.5) FP16 (16-Bit) 16,0 GB 4,2 GB 1x RTX 4090 (24 GB) $180 – $240
8B (Llama 3.1 / Qwen 2.5) AWQ (4-Bit) 5,5 GB 4,2 GB 1x L4 (24 GB) oder RTX 4000 Ada $140 – $190
32B (Qwen 2.5 / DeepSeek R1 Distill) AWQ (4-Bit) 19,5 GB 8,5 GB 1x NVIDIA L40S (48 GB) $450 – $560
70B (Llama 3.3 / Qwen 2.5) AWQ (4-Bit) 39,0 GB 12,0 GB 2x RTX 4090 (48 GB) oder 1x A100 80GB $420 – $950
70B (Llama 3.3) FP8 (8-Bit) 70,0 GB 14,0 GB 2x L40S (96 GB) oder 1x H100 80GB $980 – $1.450
405B (Llama 3.1) FP8 (8-Bit) 405,0 GB 48,0 GB 8x H100 80GB (NVLink-Cluster) $9.500 – $12.000

Produktions-Benchmarks der Inferenz-Engines: vLLM, TensorRT-LLM, SGLang und Ollama

Die Wahl der Inferenz-Engine beeinflusst den Durchsatz stärker als ein Hardware-Upgrade: vLLM und SGLang erreichen auf identischen GPUs das 3- bis 4,5-Fache der Ollama-Geschwindigkeit. Ursache ist die Speicherverwaltung: Herkömmliche Engines reservieren zusammenhängende Blöcke für den Maximalkontext und verschwenden bis zu 60% VRAM.

Moderne Server nutzen PagedAttention (virtuelle Seitenverwaltung für den KV-Cache) sowie Continuous Batching (laufendes Einspeisen neuer Anfragen in aktive GPU-Zyklen). SGLang ergänzt dies um RadixAttention zur Wiederverwendung gemeinsamer System-Prompts.

Inferenz-Engine Durchsatz (32B AWQ auf L40S, 16 Req.) Median TTFT (ms) Continuous Batching PagedAttention / RadixCache Optimaler Einsatzbereich
vLLM (v0.6+) 480 – 540 Tok/s 65 ms Ja (nativ) PagedAttention + Prefix Caching Mandantenfähige OpenAI-kompatible APIs
SGLang 530 – 610 Tok/s 52 ms Ja (nativ) RadixAttention (Zero-Copy-Cache) RAG-Agenten mit langen System-Prompts
TensorRT-LLM 590 – 660 Tok/s 45 ms Ja (In-Flight) Paged KV-Cache Maximaler Durchsatz auf H100 / FP8-Clustern
Ollama (llama.cpp) 110 – 145 Tok/s 180 ms Eingeschränkt Statische KV-Allokation Lokale Entwickler-Workstations

Finanzieller Break-Even-Punkt: Ab wie vielen Millionen Token täglich rechnet sich eigene GPU-Hardware

Ein dedizierter GPU-Server für $490 pro Monat erreicht den finanziellen Break-Even gegenüber kommerziellen Mittelklasse-APIs bei rund 6,5 Millionen Token pro Tag (195 Millionen Token pro Monat). Unterhalb dieser Schwelle kostet ungenutzte Rechenzeit Geld, darüber sinken die Stückkosten pro Million Token drastisch.

Eine reale TCO-Rechnung für 2026 anhand einer B2B-SaaS-Plattform für Dokumentenklassifizierung und Support-Triage (80% Input-Token, 20% Output-Token):

  • Cloud-API-Basis (GPT-4o / Claude 3.5 Sonnet): $2,50 pro 1 Mio. Input-Token und $10,00 pro 1 Mio. Output-Token ergeben gewichtet $4,00 pro 1 Mio. Token. Bei 15 Mio. Token/Tag (450 Mio./Monat) liegt die Rechnung bei $1.800/Monat.
  • Eigener GPU-Server (1x NVIDIA L40S 48GB): Fixmiete von $490/Monat mit Qwen 2.5 32B AWQ unter vLLM. Bei 500 Token/s Dauerleistung liefert der Server über 43 Mio. Token/Tag – 450 Mio./Monat lasten die Karte nur zu 34% aus.
  • Effektive Eigenkosten: $490 / 450 Mio. Token = $1,09 pro 1 Mio. Token (72,7% Kostenersparnis, $1.310/Monat bzw. $15.720/Jahr).

Inklusive 4 Stunden monatlichem DevOps-Aufwand ($300/Monat) steigen die Gesamtkosten auf $790/Monat, was den Break-Even auf 197,5 Mio. Token/Monat (~6,6 Mio./Tag) verschiebt. Prüfen Sie Ihre eigenen Input/Output-Verhältnisse im KI Unit-Economics-Rechner.

Hybride LLM-Router-Architektur und häufige Bereitstellungsfehler

Ein semantischer LLM-Router, der 80% der Routineanfragen an ein lokales 8B–32B-Modell leitet und nur komplexe Logik an Frontier-Cloud-APIs eskaliert, senkt die Inferenzrechnung um 70% bis 78% ohne Qualitätsverlust. Gateways wie LiteLLM Proxy oder RouteLLM bewerten die Prompt-Komplexität in unter 5 Millisekunden.

Beim Umstieg auf eigene GPU-Knoten unterlaufen Teams häufig vier kostspielige Fehler:

  • PCIe-Flaschenhälse bei Multi-GPU-Systemen: Das Aufteilen eines 70B-Modells auf zwei RTX 4090 ohne NVLink verursacht 15–25% Synchronisationslatenz über PCIe.
  • Überdimensioniertes Kontext-Limit: Ein --max-model-len 32768 bei durchschnittlich 2.000 Token reserviert unnötigen KV-Cache und führt bei Lastspitzen zu Warteschlangen.
  • Ungeschützte API-Ports: Ein öffentlich erreichbarer Port 8000 ohne Bearer-Authentifizierung führt umgehend zu unbefugtem Ressourcenmissbrauch.
  • Produktivbetrieb auf geteilten GPU-VPS-Instanzen: Geteilte PCIe-Busse und CPU-Steal-Time erzeugen unberechenbare Latenzen; Details erläutert unser Vergleich zwischen VPS und Dedicated Server.

Technische Checkliste für gesicherte vLLM-Docker-Deployments mit Monitoring

Ein produktionsreifer vLLM-Knoten erfordert saubere Container-Isolation, fixierte Treiberversionen und Echtzeit-Telemetrie vor dem Live-Betrieb:

  1. Host-Treiber und Container Toolkit fixieren: Installieren Sie NVIDIA-Treiber 550+ sowie das nvidia-container-toolkit unter Ubuntu 24.04 LTS und prüfen Sie die GPU-Erkennung mit nvidia-smi im Container.
  2. Modellgewichte lokal vorladen: Laden Sie quantisierte AWQ/FP8-Gewichte per festem Commit-Hash von Hugging Face auf ein lokales NVMe-Volume, um Neustarts netzunabhängig zu halten.
  3. vLLM-Speicherflags konfigurieren: Starten Sie das Image vllm/vllm-openai mit --gpu-memory-utilization 0.90, --enable-prefix-caching und realistischem --max-model-len.
  4. TLS 1.3 und API-Keys per Reverse Proxy erzwingen: Binden Sie vLLM an 127.0.0.1:8000 und schalten Sie Nginx, Caddy oder LiteLLM mit Rate-Limiting davor.
  5. Prometheus- und Grafana-Metriken anbinden: Überwachen Sie den Endpunkt /metrics und richten Sie Alarme ein, sobald vllm:gpu_cache_usage_perc über 85% steigt.
  6. Automatischen Cloud-Fallback aktivieren: Konfigurieren Sie Ihre KI-Agenten-Orchestrierung so, dass sie bei TTFT über 1.500 ms nahtlos auf ein Cloud-API umschaltet.
Break-Even Ihres GPU-Clusters berechnen: Geben Sie tägliche Anfragen, Prompt-Länge und Servermiete in den NW24 KI Unit-Economics-Rechner ein und ermitteln Sie den exakten Kostenvorteil gegenüber Cloud-APIs.

Häufig gestellte Fragen (FAQ)

Wie berechnet man den benötigten VRAM für ein lokales LLM-Modell schnell und präzise?
Multiplizieren Sie die Parameterzahl in Milliarden mit den Bytes pro Gewicht (2 Bytes für FP16, 0,5 Bytes für 4-Bit-AWQ) und addieren Sie 20–30% Puffer für KV-Cache und CUDA-Overhead. Ein 70B-Modell in 4-Bit-AWQ benötigt im Produktivbetrieb etwa 45–50 GB VRAM.
Ab welchem monatlichen Token-Volumen lohnt sich ein eigener GPU-Server gegenüber OpenAI oder Anthropic?
Ein gemieteter RTX 4090 oder L40S Server ($180–$520/Monat) erreicht den Break-Even bei 120 bis 250 Millionen Token monatlich im Vergleich zu Standard-Cloud-APIs. Ihren exakten Schwellenwert berechnet der NW24 KI Unit-Economics-Rechner.
Warum setzen Produktionsteams auf vLLM statt auf Standard-Ollama?
vLLM nutzt PagedAttention und Continuous Batching für 16 bis 64 parallele Anfragen ohne Speicherabstürze. Ollama ist für lokale Einzelplatz-Entwicklung optimiert und verliert unter gleichzeitiger API-Last massiv an Token-Durchsatz pro Sekunde.
Wie stark reduziert 4-Bit-Quantisierung (AWQ/GGUF) die Antwortqualität im Unternehmenseinsatz?
4-Bit-AWQ bewahrt 98,5% bis 99,2% der FP16-Genauigkeit bei 32B- und 70B-Modellen und senkt den VRAM-Bedarf um 70%. Bei strukturierter Datenextraktion und RAG-basierten KI-Support-Agenten ist der Qualitätsverlust statistisch vernachlässigbar.
Lassen sich produktive Unternehmens-LLMs auf einem reinen CPU-VPS ohne Grafikkarte betreiben?
CPU-Inferenz über llama.cpp eignet sich nur für kompakte 3B–8B-Modelle mit 4–12 Token/Sekunde für Einzelnutzer. Produktive Parallelität erfordert dedizierte GPU-Speicherbandbreite, wie unser VPS- vs. Dedicated-Server-Vergleich zeigt.
NW

NW24 Infrastructure Lab

NW24 Redaktionsteam. Geprüft anhand gesetzlicher Register, API-Dokumentationen und Primärquellen.