Das eigene KI-System bauen: Der komplette Leitfaden 2026 zu Consumer-GPU-Hardware für lokale LLMs

Ein tiefer Einblick in VRAM-Grenzen, Multi-GPU-Pooling, PCIe-Beschränkungen und Fließkomma-Leistung

Vom technischen Team von Kentino.com | Januar 2026

Einführung: Warum ein eigenes KI-System bauen?

Die KI-Revolution findet längst nicht mehr nur in Rechenzentren statt. Open-Source-Modelle wie DeepSeek R1, Qwen 3, Llama 4 und Gemma erreichen ein nie dagewesenes Niveau – leistungsfähige KI lokal zu betreiben ist damit nicht nur möglich, sondern praxistauglich.

Doch eines sagt Ihnen niemand: VRAM ist König, alles andere ist ein Kompromiss.

Dieser Leitfaden macht aus Ihnen vom ratlosen GPU-Käufer einen versierten KI-Systemarchitekten. Wir behandeln alles – von Single-GPU-Setups für Modelle mit 8B Parametern bis zu Multi-GPU-Konfigurationen, die Kolosse mit 70B+ Parametern stemmen. Ob Coding-Assistent, Forschungs-Workstation oder privater KI-Server: Hier finden Sie die passenden Antworten.

Teil 1: VRAM verstehen – die Währung der KI

Warum VRAM wichtiger ist als alles andere

Beim Betrieb von Large Language Models (LLMs) ist der VRAM (Video Random Access Memory) Ihrer GPU die entscheidende Spezifikation. Anders als beim Gaming, wo VRAM vor allem Texturen und Framebuffer speichert, benötigen KI-Workloads den VRAM für:

1. Modellgewichte: die Milliarden von Parametern, die das Wissen der KI ausmachen
2. KV-Cache: Speicher, der mit der Gesprächslänge wächst (Kontextfenster)
3. Aktivierungsspeicher: temporäre Berechnungen während der Inferenz
4. System-Overhead: CUDA-Kernel, Speicherverwaltung, Laufzeitpuffer

Die goldene Formel:

Benötigter VRAM (GB) = (Parameter in Milliarden × Präzision in Byte) × 1.2

Beispiele:
- 8B-Modell @ FP16 (2 Byte):   8 × 2 × 1.2 = ~19.2 GB
- 8B-Modell @ Q4 (0.5 Byte):   8 × 0.5 × 1.2 = ~4.8 GB
- 70B-Modell @ FP16 (2 Byte):  70 × 2 × 1.2 = ~168 GB
- 70B-Modell @ Q4 (0.5 Byte):  70 × 0.5 × 1.2 = ~42 GB

Die Quantisierungs-Revolution

Quantisierung ist die Technik, die große Modelle überhaupt erst auf Consumer-Hardware lauffähig macht. Indem Sie die Präzision der Modellgewichte von 16 Bit (FP16) auf 4 Bit (Q4) reduzieren, betreiben Sie Modelle, die sonst Enterprise-Hardware erfordern würden.

Der Sweet Spot: Die Quantisierung Q4_K_M spart 75% Speicher bei nur rund 5% Qualitätsverlust – und ist damit 2026 der Goldstandard für den Einsatz auf Consumer-Hardware.

Teil 2: Die GPU-Landschaft 2026

NVIDIA RTX 50 Serie – der neue Standard

NVIDIAs Blackwell-Architektur bringt deutliche Verbesserungen für KI-Workloads:

RTX 5090 – das Flaggschiff

Was Ihnen 32GB VRAM ermöglichen:

• Qwen3-32B @ Q4_K_M – bequem
• DeepSeek R1 32B @ Q4_K_M – mit Luft für Kontext
• Llama 4 8B @ FP16 – volle Präzision
• 70B-Modelle @ Q4_K_M – mit strikt begrenztem Kontext

Die um 78% höhere Bandbreite der RTX 5090 gegenüber der 4090 bedeutet schnellere Token-Generierung – besonders entscheidend bei größeren Modellen, wo die Speicherbandbreite zum Flaschenhals wird.

RTX 5080 – die pragmatische Wahl

Was Ihnen 16GB VRAM ermöglichen:

• Qwen3-14B @ Q4_K_M – starke Leistung
• DeepSeek R1 14B @ Q4_K_M – hervorragend zum Programmieren
• Llama 4 8B @ Q8_0 – hohe Qualität
• 32B-Modelle @ aggressiver Quantisierung – möglich, aber knapp

RTX 5070 Ti – das Arbeitstier fürs Budget

Die RTX 5070 Ti bietet dieselben 16GB VRAM wie die 5080 zu 25% geringeren Kosten – und ist damit wohl das beste Preis-Leistungs-Verhältnis für dedizierte KI-Arbeit, sofern es nicht auf maximale Token-Geschwindigkeit ankommt.

RTX 5070 – der Einstieg

Das 12GB-Problem: Der Preis der RTX 5070 ist zwar verlockend, doch 12GB VRAM setzen deutliche Grenzen. Bei Modellen ab 14B und längeren Kontextfenstern stoßen Sie schnell an die Wand. Betrachten Sie die zusätzlichen 4GB der 5070 Ti als unverzichtbare Absicherung.

Vorgängergeneration weiterhin brauchbar

RTX 4090 – nach wie vor ein Kandidat

Die RTX 4090 mit 24GB VRAM bleibt für KI hervorragend geeignet. Wenn Sie eine zu einem guten Preis finden, bewältigt sie:

• 14B-Modelle bei hoher Quantisierung
• 32B-Modelle bei Q4_K_M (knapp)
• mehrere 8B-Modelle gleichzeitig

RTX 3090 / 3090 Ti – die Budget-Könige

Mit 24GB VRAM (genau wie die 4090) sind diese älteren Karten für KI ein hervorragendes Preis-Leistungs-Angebot:

• geringere Bandbreite (936 GB/s)
• ältere Tensor-Kerne (3. Gen.)
• dafür dieselbe Kapazität von 24GB

Wenn es Ihnen mehr auf reinen VRAM als auf Tempo ankommt (etwa bei Batch-Verarbeitung oder in der Entwicklung), schlägt eine gebrauchte 3090 für $700-900 bei KI-Workloads eine neue 5070 für $549.

Teil 3: PCIe-Beschränkungen verstehen

Die Realität der PCIe-Bandbreite

PCIe (Peripheral Component Interconnect Express) ist die Autobahn zwischen Ihrer GPU und dem übrigen System. Das sollten Sie wissen:

Wann PCIe zählt (und wann nicht)

PCIe ist wichtig für:

• das erstmalige Laden des Modells (bei großen Modellen sparen Sie Minuten)
• die Kommunikation zwischen mehreren GPUs (entscheidend bei Tensor-Parallelismus)
• gemischte CPU/GPU-Inferenz (wenn das Modell in den RAM ausgelagert wird)

PCIe spielt kaum eine Rolle bei:

• Single-GPU-Inferenz, sobald das Modell geladen ist
• Inferenz kleiner Modelle
• langlaufenden Sitzungen, bei denen die Ladezeit vernachlässigbar ist

Praxistipp:

• Eine GPU: PCIe 4.0 x8 genügt in der Regel
• Zwei GPUs: PCIe 4.0 x16/x16 oder x8/x8 empfohlen
• Vier GPUs: PCIe 5.0 oder Enterprise-Plattformen empfohlen

CPU-Lane-Limits nach Plattform

Der Flaschenhals der Consumer-Plattform: Die meisten Consumer-CPUs (Intel Core, AMD Ryzen) stellen nur 16-24 PCIe-Lanes direkt von der CPU bereit. Das bedeutet:

• Die erste GPU erhält volle x16
• Eine zweite GPU zwingt beide häufig auf x8/x8
• Die dritte und vierte GPU laufen unter Umständen nur mit x4

Für ernsthafte Multi-GPU-Arbeit mit KI sollten Sie Threadripper PRO oder HEDT-Plattformen in Betracht ziehen.

Teil 4: Multi-GPU-Konfigurationen – VRAM bündeln

Wunsch und Wirklichkeit

Der Wunsch: Vier RTX 5090 zu 128GB einheitlichem VRAM kombinieren und die größten Modelle betreiben, als liefen sie auf einer H100.

Die Wirklichkeit: Es ist kompliziert – aber zunehmend machbar.

Wie Multi-GPU bei LLMs funktioniert

Es gibt zwei wesentliche Ansätze:

Tensor-Parallelismus (TP)

Teilt einzelne Operationen (etwa Matrixmultiplikationen) auf mehrere GPUs auf. Erfordert eine Kommunikation mit hoher Bandbreite zwischen den GPUs.

Ideal für: Inferenz mit hohem Durchsatz, latenzkritische Anwendungen Voraussetzungen: NVLink bevorzugt, mindestens PCIe 4.0 x8 pro GPU Unterstützt von: vLLM, TensorRT-LLM, DeepSpeed

Pipeline-Parallelismus (PP)

Teilt das Modell in aufeinanderfolgende Stufen auf, wobei jede GPU andere Layer übernimmt.

Ideal für: große Modelle unterzubringen, Batch-Verarbeitung Voraussetzungen: moderate Bandbreite zwischen den GPUs Unterstützt von: llama.cpp, Ollama, den meisten Frameworks

NVLink vs. PCIe – die harte Wahrheit

NVLink ermöglicht die direkte Kommunikation zwischen GPUs mit ~900 GB/s (bei NVLink 4.0). Damit wird echtes Memory-Pooling möglich, bei dem GPUs direkt auf den VRAM der jeweils anderen zugreifen.

Das Problem: Consumer-Karten der RTX-Reihe unterstützen kein NVLink mehr. Die letzten NVLink-fähigen Consumer-GPUs waren die RTX 3090/3090 Ti (NVLink 3.0 @ 112.5 GB/s bidirektional).

Ohne NVLink läuft die Kommunikation zwischen den GPUs über PCIe:

• deutlich langsamer (~32-64 GB/s statt 900 GB/s)
• höhere Latenz
• kein direktes Bündeln des VRAM möglich

Auswirkung in der Praxis:

Multi-GPU auch ohne NVLink zum Laufen bringen

Trotz aller Grenzen werden Multi-GPU-Setups auf Consumer-Hardware immer praxistauglicher:

Empfohlene Software:

• llama.cpp: hervorragende Multi-GPU-Unterstützung, verteilt Layer auf mehrere Karten
• Ollama: einfache Einrichtung, automatische Layer-Verteilung
• vLLM: Serving mit hoher Leistung, unterstützt Tensor-Parallelismus
• exllama2: optimiert für Multi-GPU-Inferenz

Tipps zur Konfiguration:

1. Stellen Sie sicher, dass beide GPUs am selben NUMA-Knoten hängen (prüfen mit nvidia-smi topo -m)
2. Nutzen Sie bei zwei GPUs mindestens PCIe x8/x8
3. Setzen Sie CUDA_VISIBLE_DEVICES korrekt
4. Verwenden Sie nach Möglichkeit identische GPU-Modelle (das Mischen von Generationen funktioniert, kann aber ineffizient sein)

Beispiele für Multi-GPU-Konfigurationen

Zwei RTX 5090 (64GB gesamt)

Unterstützte Modelle:
- Qwen3-70B @ Q4_K_M (benötigt ~42GB) ✓
- DeepSeek R1 70B @ Q4_K_M ✓
- Llama 4 70B @ Q4_K_M ✓
- Jedes 32B-Modell @ FP16 ✓

Leistung: ~40-50 Tokens/Sek. bei 70B-Modellen
Kosten: ~$4,000 (nur GPUs)
Leistungsaufnahme: 1,150W Spitze (nur GPUs)

Vier RTX 5090 (128GB gesamt)

Unterstützte Modelle:
- Qwen3-235B-A22B (MoE, ~22B aktiv) ✓
- Jedes 70B-Modell @ Q8_0 ✓
- Dichte Modelle ab 120B @ Q4_K_M ✓

Leistung: variabel, stark abhängig von der PCIe-Topologie
Kosten: ~$8,000 (nur GPUs)
Leistungsaufnahme: 2,300W Spitze (nur GPUs)
Erforderlich: HEDT-/Server-Plattform (Threadripper, Xeon)

Budget-Build: zwei gebrauchte RTX 3090 (48GB gesamt)

Unterstützte Modelle:
- Qwen3-32B @ Q4_K_M ✓
- DeepSeek R1 32B @ Q4_K_M ✓
- 70B-Modelle @ aggressiver Q3-Quantisierung (grenzwertig)

Leistung: ~20-30 Tokens/Sek. bei 32B-Modellen
Kosten: ~$1,400-1,800 (GPUs gebraucht)
Vorteil: NVLink-Unterstützung!

Teil 5: Fließkomma-Leistung im Detail

Präzisionsformate erklärt

Moderne KI arbeitet mit verschiedenen numerischen Präzisionsformaten:

Der FP4- und FP8-Vorteil von Blackwell

Die RTX 50 Serie führt native FP4-Unterstützung in den Tensor-Kernen ein:

Was das bedeutet:

• Inferenz mit FP8 und FP4 läuft auf der RTX 50 Serie dramatisch schneller
• Für FP8 optimierte Modelle profitieren enorm
• Die Generation der Tensor-Kerne zählt genauso viel wie die Zahl der CUDA-Kerne

Speicherbandbreite – der andere Flaschenhals

Bei großen Modellen ist die Speicherbandbreite oft wichtiger als die Rechenleistung:

Die Tokens pro Sekunde werden begrenzt durch:

Max. Tokens/s = Speicherbandbreite (GB/s) / Byte pro Parameter

RTX 5090 mit einem 70B-Modell @ Q4_K_M:
1,792 GB/s / 35 GB = ~51 Tokens/s theoretisches Maximum

RTX 4090 mit demselben Modell:
1,008 GB/s / 35 GB = ~29 Tokens/s theoretisches Maximum

Die um 78% höhere Bandbreite der RTX 5090 schlägt sich bei großen Modellen unmittelbar in schnellerer Generierung nieder.

Teil 6: Die Landschaft der Open-Source-Modelle – was sich lohnt

Tier 1: Flaggschiff-Modelle (32GB+ VRAM empfohlen)

Qwen3-235B-A22B (MoE)

• Aktive Parameter: 22B (235B gesamt)
• VRAM @ Q4: ~28GB
• Kontext: 32K nativ, 131K mit YaRN
• Stärken: Mathematik, Programmierung, Mehrsprachigkeit (119 Sprachen)
• Ideal für: universellen Einsatz, Programmierung, Forschung

DeepSeek R1 70B

• Parameter: 70B
• VRAM @ Q4: ~42GB
• Kontext: 128K
• Stärken: Schlussfolgern, Chain-of-Thought, Programmierung
• Ideal für: komplexe Problemlösung, Forschung

Llama 4 70B

• Parameter: 70B
• VRAM @ Q4: ~42GB
• Kontext: 128K
• Stärken: allgemeine Fähigkeiten, Befolgen von Anweisungen
• Ideal für: vielseitige Anwendungen

Tier 2: Profi-Modelle (16-24GB VRAM)

Qwen3-32B

• Parameter: 32B
• VRAM @ Q4: ~19GB
• Kontext: 128K
• Stärken: Programmierung (auf GPT-4o-Niveau), Schlussfolgern
• Ideal für: eine einzelne RTX 5090/4090, Entwicklung

DeepSeek R1 Distill 32B

• Parameter: 32B
• VRAM @ Q4: ~19GB
• Stärken: aus einem größeren Modell destilliertes Schlussfolgern
• Ideal für: kosteneffizientes Schlussfolgern

Gemma 3 27B

• Parameter: 27B
• VRAM @ Q4: ~16GB
• Kontext: 128K
• Stärken: effizient, Google-Qualität, multimodal
• Ideal für: Builds mit RTX 5080/5070 Ti

Tier 3: Consumer-Modelle (8-16GB VRAM)

Qwen3-14B

• Parameter: 14B
• VRAM @ Q4: ~8.4GB
• Kontext: 128K
• Stärken: hervorragende Balance aus Größe und Leistungsfähigkeit
• Ideal für: RTX 5070 Ti, 4070 Ti, allgemeinen Einsatz

Qwen3-8B

• Parameter: 8B
• VRAM @ Q4: ~4.8GB
• Kontext: 32K nativ, 131K erweitert
• Stärken: schnell, leistungsfähig, passt überall
• Ideal für: Einsteiger-Builds, Echtzeitanwendungen

DeepSeek R1 Distill 14B (Qwen-Basis)

• Parameter: 14B
• VRAM @ Q4: ~8.4GB
• Stärken: starkes Schlussfolgern dank Destillation
• Ideal für: Coding-Assistenten, Problemlösung

Llama 4 8B

• Parameter: 8B
• VRAM @ Q4: ~4.8GB
• Stärken: schnell, ausgewogen
• Ideal für: alltägliche Aufgaben, Chat-Anwendungen

Tier 4: Edge/Embedded (4-8GB VRAM)

Qwen3-4B

• Parameter: 4B
• VRAM @ Q4: ~2.4GB
• Stärken: auf Augenhöhe mit Qwen2.5-7B
• Ideal für: Laptops, integrierte Grafik, Edge-Geräte

Phi-4 (Microsoft)

• Parameter: 14B
• VRAM @ Q4: ~8.4GB
• Stärken: außergewöhnlich stark für seine Größe, MINT-Fokus
• Ideal für: Bildungs- und Technikanwendungen

Qwen3-0.6B

• Parameter: 0.6B
• VRAM @ Q4: <1GB
• Stärken: läuft überall
• Ideal für: IoT, Mobilgeräte, Umgebungen mit minimalen Ressourcen

Flussdiagramm zur Modellauswahl

Wie viel VRAM steht Ihnen zur Verfügung?

├─ 32GB+ (RTX 5090, zwei 3090)
│   └─ Qwen3-235B-A22B oder DeepSeek R1 70B @ Q4
│
├─ 24GB (RTX 4090, 3090)
│   └─ Qwen3-32B @ Q4 oder DeepSeek R1 32B @ Q4
│
├─ 16GB (RTX 5080, 5070 Ti, 4080)
│   └─ Qwen3-14B @ Q4 oder Gemma 3 27B @ Q4
│
├─ 12GB (RTX 5070, 4070 Ti)
│   └─ Qwen3-8B @ Q4 oder Llama 4 8B @ Q4
│
└─ 8GB (RTX 4070, 3070)
    └─ Qwen3-4B @ Q4 oder Phi-4 @ aggressiver Quantisierung

Teil 7: Empfehlungen für komplette Systeme

Build 1: Der Einstieg ($1,200-1,500)

Anwendungsfall: persönlicher KI-Assistent, Unterstützung beim Programmieren, Experimente

Damit läuft:

• Qwen3-14B @ Q4 (~8.4GB) – hervorragend
• DeepSeek R1 14B @ Q4 – hervorragend
• Qwen3-32B @ Q3 (aggressiv) – möglich, aber knapp
• mehrere 8B-Modelle gleichzeitig

Geschätzte Leistung: 35-50 Tokens/Sek. bei 14B-Modellen

Build 2: Der Prosumer-Sweetspot ($3,500-4,500)

Anwendungsfall: professionelle Entwicklung, Forschung, Content-Erstellung

Damit läuft:

• Qwen3-32B @ Q4 – bequem, mit 13GB Reserve
• DeepSeek R1 32B @ Q6 – höhere Qualität
• Qwen3-235B-A22B @ Q4 – knapp, aber machbar
• jedes Modell unter 32B in hoher Qualität

Geschätzte Leistung: 50-80 Tokens/Sek. bei 32B-Modellen

Build 3: Der lokale KI-Server ($7,000-10,000)

Anwendungsfall: Inferenz-Server fürs Team, Modell-Experimente, Produktiv-Workloads

Damit läuft:

• DeepSeek R1 70B @ Q4 – volle Leistung
• Qwen3-235B-A22B @ Q4 – hervorragend
• jedes Modell unter 120B Parametern
• mehrere 32B-Modelle für A/B-Tests

Geschätzte Leistung: 40-50 Tokens/Sek. bei 70B-Modellen

Build 4: Das Budget-Labor ($2,000-2,500 auf dem Gebrauchtmarkt)

Anwendungsfall: Lernen, Entwicklung, preisbewusste Enthusiasten

Der NVLink-Vorteil: Dies ist die einzige Consumer-Konfiguration mit NVLink-Unterstützung – und damit echtem VRAM-Pooling mit 112.5 GB/s statt der ~32 GB/s von PCIe.

Damit läuft:

• Qwen3-32B @ Q8 (höhere Qualität) – bequem
• DeepSeek R1 32B @ FP16 – bei sorgfältigem Kontextmanagement
• 70B-Modelle @ aggressivem Q3 – möglich

Geschätzte Leistung: 25-35 Tokens/Sek. bei 32B-Modellen (dank NVLink schneller als erwartet)

Build 5: Das mobile Kraftpaket (Laptop)

Anwendungsfall: mobile KI-Entwicklung, Inferenz unterwegs

Nennenswerte Modelle:

• ASUS ROG Strix SCAR 18 (2026)
• Razer Blade 18 (2026)
• MSI Titan GT78 (2026)

Damit läuft:

• Qwen3-14B @ Q4 – hervorragend
• DeepSeek R1 14B @ Q4 – hervorragend
• Qwen3-32B @ Q4 – knapp, aber machbar

Hinweis: Die mobile RTX 5090 hat 24GB (nicht 32GB) und eine geringere TDP. Rechnen Sie mit rund 70% der Desktop-Leistung.

Teil 8: Empfehlungen zum Software-Stack

Unverzichtbare Werkzeuge

Ollama – der einfachste Weg

# Installieren
curl -fsSL https://ollama.ai/install.sh | sh

# Qwen3 8B ausführen
ollama run qwen3:8b

# Mit bestimmter Quantisierung ausführen
ollama run qwen3:14b-q4_K_M

# Multi-GPU (automatisch)
CUDA_VISIBLE_DEVICES=0,1 ollama run qwen3:32b

Ideal für: den Einstieg, einfache Deployments, API-Serving

LM Studio – die Variante mit Oberfläche

• visueller Modell-Browser
• Downloads mit einem Klick
• integrierte Chat-Oberfläche
• Auswahl der Quantisierung

Ideal für: Anwender ohne technischen Hintergrund, Erkundung von Modellen

llama.cpp – maximale Kontrolle

# Mit CUDA bauen
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release

# Mit mehreren GPUs ausführen
./llama-server -m qwen3-32b-q4_k_m.gguf \
  -ngl 99 \
  --tensor-split 0.5,0.5 \
  -c 8192

Ideal für: fortgeschrittene Anwender, individuelle Deployments, maximale Leistung

vLLM – Serving im Produktivbetrieb

# Installieren
pip install vllm

# Mit Tensor-Parallelismus bereitstellen
python -m vllm.entrypoints.openai.api_server \
  --model Qwen/Qwen3-32B \
  --tensor-parallel-size 2 \
  --dtype auto

Ideal für: Serving mit hohem Durchsatz, API-Endpunkte, Produktivbetrieb

Bezugsquellen für Modelle

Teil 9: Tipps zur Optimierung

VRAM optimieren

1. Setzen Sie auf Q4_K_M-Quantisierung – die beste Balance aus Größe und Qualität
2. Begrenzen Sie die Kontextlänge – 8K statt 32K spart rund 40% VRAM
3. Deaktivieren Sie den KV-Cache bei einmaligen Prompts
4. Nutzen Sie Flash Attention 2 – senkt den Speicherbedarf bei langen Kontexten
5. Aktivieren Sie speichereffiziente Inferenz in vLLM

Geschwindigkeit optimieren

1. Schöpfen Sie die Speicherbandbreite der GPU aus – schnellerer Speicher bedeutet schnellere Tokens
2. Nutzen Sie FP8, wo verfügbar – 2-3x schneller auf der RTX 50 Serie
3. Aktivieren Sie spekulatives Decoding – ein kleines Modell beschleunigt das große
4. Bündeln Sie Anfragen – höherer Durchsatz beim Serving
5. Nutzen Sie Continuous Batching (vLLM) – dynamische Bearbeitung von Anfragen

Multi-GPU optimieren

1. Verwenden Sie identische GPU-Modelle – mischen Sie keine Generationen
2. Prüfen Sie die NUMA-Topologie – derselbe Knoten bedeutet geringere Latenz
3. Nutzen Sie mindestens x8-Lanes – x4 erzeugt Flaschenhälse
4. Überwachen Sie mit nvidia-smi – achten Sie auf ungleichmäßige Auslastung
5. Testen Sie verschiedene TP/PP-Konfigurationen – das Optimum hängt vom Modell ab

Teil 10: Häufige Probleme beheben

"CUDA out of memory"

Ursachen:

• Modell zu groß für den VRAM
• Kontextfenster zu lang
• wachsender KV-Cache

Lösungen:

1. aggressiver quantisieren (Q4 → Q3)
2. Kontextlänge reduzieren
3. Batch-Größe reduzieren
4. Flash Attention aktivieren
5. auf mehrere GPUs verteilen

Langsame Token-Generierung

Ursachen:

• Begrenzung durch die Speicherbandbreite
• aktives CPU-Offloading
• thermische Drosselung

Lösungen:

1. sicherstellen, dass das Modell vollständig in den VRAM passt
2. GPU-Temperatur prüfen (Ziel <85°C)
3. kleineres Modell verwenden
4. Leistungsmodus der GPU aktivieren
5. Luftstrom im Gehäuse verbessern

Multi-GPU skaliert nicht

Ursachen:

• Flaschenhals bei der PCIe-Bandbreite
• ungünstige Layer-Aufteilung
• Probleme mit der NUMA-Distanz

Lösungen:

1. Ermitteln Sie die Topologie mit nvidia-smi topo -m .
2. Tensor-Split-Verhältnisse anpassen
3. mindestens x8 PCIe pro GPU sicherstellen
4. NVLink in Betracht ziehen (RTX 3090)
5. Pipeline- statt Tensor-Parallelismus nutzen

Fazit: die richtige Wahl treffen

Ein lokales KI-System aufzubauen ist 2026 leichter als je zuvor. Hier die Zusammenfassung:

Empfehlungen auf einen Blick:

Die goldenen Regeln:

1. VRAM > alles andere – mehr Speicher bedeutet mehr Auswahl bei den Modellen
2. Quantisierung ist Ihr Freund – Q4_K_M ist der Sweet Spot
3. Multi-GPU bringt abnehmenden Ertrag – ohne NVLink sind es aus zwei GPUs etwa 1.6x
4. Die Speicherbandbreite zählt – vor allem bei großen Modellen
5. Klein anfangen, dann ausbauen – testen Sie Ihre Workloads, bevor Sie investieren

Das Open-Source-Ökosystem der KI entwickelt sich rasant. Modelle, die vor zwei Jahren Hardware für $100K verlangten, laufen heute auf Systemen für $2K. Was auch immer Sie heute bauen: Es wird nur leistungsfähiger, je effizienter die Modelle werden.

Willkommen im Zeitalter der persönlichen KI.

Hardware-Empfehlungen und Verfügbarkeit finden Sie auf Kentino.com

Anhang: Tabellen zum schnellen Nachschlagen

VRAM-Bedarf der Modelle (Q4_K_M)

GPU-Vergleich für KI

Zuletzt aktualisiert: Januar 2026 Artikel erstellt vom technischen Team von Kentino