Stavíte si vlastní AI systém: Kompletní průvodce 2026 spotřebitelským GPU hardwarem pro lokální LLM

Podrobný pohled na limity VRAM, sdružování více GPU, omezení PCIe a výkon v plovoucí řádové čárce

Zpracoval technický tým Kentino.com | leden 2026

Úvod: Proč si stavět vlastní AI systém?

AI revoluce se už dávno neodehrává jen v datacentrech. S open-source modely jako DeepSeek R1, Qwen 3, Llama 4 nebo Gemma, které dosahují dosud nevídaných schopností, je provoz výkonné AI lokálně nejen možný — ale i praktický.

Jenže je tu háček, o kterém se moc nemluví: VRAM je král a všechno ostatní je kompromis.

Tento průvodce Vás provede cestou od tápajícího kupce GPU k poučenému architektovi AI systémů. Projdeme vše od sestav s jedním GPU pro modely s 8B parametry až po konfigurace s více GPU, které zvládnou i kolosy se 70B a více parametry. Ať už stavíte programovacího asistenta, výzkumný workstation, nebo privátní AI server, tady najdete vše potřebné.

Část 1: Jak funguje VRAM — měna světa AI

Proč na VRAM záleží víc než na čemkoli jiném

Při provozu velkých jazykových modelů (LLM) je VRAM (Video Random Access Memory) Vaší grafické karty tím nejdůležitějším parametrem. Na rozdíl od her, kde VRAM drží hlavně textury a snímkové buffery, potřebují AI workloady VRAM na:

1. Váhy modelu: miliardy parametrů, které definují znalosti AI
2. KV cache: paměť, která roste s délkou konverzace (kontextové okno)
3. Aktivační paměť: dočasné výpočty v průběhu inference
4. Režie systému: CUDA kernely, správa paměti, runtime buffery

Zlatý vzorec:

Potřebná VRAM (GB) = (parametry v miliardách × přesnost v bajtech) × 1.2

Příklady:
- model 8B @ FP16 (2 bajty):   8 × 2 × 1.2 = ~19.2 GB
- model 8B @ Q4 (0.5 bajtu):   8 × 0.5 × 1.2 = ~4.8 GB
- model 70B @ FP16 (2 bajty):  70 × 2 × 1.2 = ~168 GB
- model 70B @ Q4 (0.5 bajtu):  70 × 0.5 × 1.2 = ~42 GB

Revoluce jménem kvantizace

Kvantizace je technika, díky které je provoz velkých modelů na spotřebním hardwaru vůbec možný. Snížením přesnosti vah modelu z 16 bitů (FP16) na 4 bity (Q4) rozběháte modely, které by jinak vyžadovaly firemní hardware.

Ideální kompromis: kvantizace Q4_K_M přinese 75% úsporu paměti při ztrátě kvality jen kolem 5 % — proto je v roce 2026 zlatým standardem pro nasazení na spotřebním hardwaru.

Část 2: Trh s GPU v roce 2026

NVIDIA RTX řady 50 — nový standard

Architektura Blackwell od NVIDIA přináší pro AI workloady výrazná zlepšení:

RTX 5090 — vlajková loď bez kompromisů

Co Vám 32GB VRAM umožní:

• Qwen3-32B @ Q4_K_M — s rezervou
• DeepSeek R1 32B @ Q4_K_M — i s prostorem pro kontext
• Llama 4 8B @ FP16 — v plné přesnosti
• modely 70B @ Q4_K_M — s výrazně omezeným kontextem

O 78 % vyšší propustnost RTX 5090 oproti 4090 znamená rychlejší generování tokenů, což je kritické hlavně u větších modelů, kde se propustnost paměti stává úzkým hrdlem.

RTX 5080 — praktická volba

Co Vám 16GB VRAM umožní:

• Qwen3-14B @ Q4_K_M — skvělý výkon
• DeepSeek R1 14B @ Q4_K_M — výborný na programování
• Llama 4 8B @ Q8_0 — vysoká kvalita
• modely 32B @ agresivní kvantizace — jde to, ale je to těsné

RTX 5070 Ti — cenově dostupný tahoun pro AI

RTX 5070 Ti nabízí stejných 16 GB VRAM jako 5080, ale o 25 % levněji — pro vyhrazenou AI práci je tak patrně nejlepší volbou všude tam, kde není kritická čistá rychlost generování tokenů.

RTX 5070 — vstupní brána

Problém s 12 GB: Cena RTX 5070 je sice lákavá, ale 12GB VRAM citelně omezuje. U modelů od 14B výš a u delších kontextových oken narazíte na strop. Berte 4 GB navíc u 5070 Ti jako nezbytnou pojistku.

Předchozí generace stále dává smysl

RTX 4090 — stále ve hře

RTX 4090 s 24GB VRAM zůstává pro AI výborná. Pokud ji seženete za rozumnou cenu, zvládne:

• modely 14B v kvalitní kvantizaci
• modely 32B v Q4_K_M (těsně)
• několik modelů 8B současně

RTX 3090 / 3090 Ti — králové poměru cena/výkon

S 24GB VRAM (stejně jako 4090) nabízejí tyto starší karty pro AI neuvěřitelnou hodnotu:

• nižší propustnost (936 GB/s)
• starší Tensor jádra (3. generace)
• ale stejná kapacita 24 GB

Pokud je pro Vás čistá kapacita VRAM důležitější než rychlost (třeba u dávkového zpracování nebo vývoje), poražená 3090 za $700-900 porazí v AI workloadech novou 5070 za $549.

Část 3: Omezení PCIe

Jak je to s propustností PCIe doopravdy

PCIe (Peripheral Component Interconnect Express) je dálnice mezi grafickou kartou a zbytkem systému. Co o ní potřebujete vědět:

Kdy na PCIe záleží (a kdy ne)

Na PCIe záleží u:

• prvotního načtení modelu (u velkých modelů ušetří minuty)
• komunikace mezi více GPU (klíčové pro tensor parallelism)
• kombinované inference na CPU i GPU (když model přetéká do RAM)

Na PCIe příliš nezáleží u:

• inference na jednom GPU po načtení modelu
• inference malých modelů
• dlouho běžících relací, kde je doba načítání zanedbatelná

Praktické doporučení:

• jedno GPU: obvykle stačí PCIe 4.0 x8
• dvě GPU: doporučujeme PCIe 4.0 x16/x16 nebo x8/x8
• čtyři GPU: doporučujeme PCIe 5.0 nebo platformy pro firemní nasazení

Limity PCIe linek podle platformy

Úzké hrdlo spotřebních platforem: Většina spotřebních CPU (Intel Core, AMD Ryzen) nabízí jen 16-24 PCIe linek přímo z procesoru. To znamená:

• první GPU dostane plných x16
• přidání druhého GPU často přepne obě na x8/x8
• třetí a čtvrté GPU mohou běžet jen na x4

Na seriózní AI práci s více GPU zvažte Threadripper PRO nebo platformy HEDT.

Část 4: Konfigurace s více GPU — sdružování VRAM

Sen vs. realita

Sen: Spojit 4× RTX 5090 do 128 GB sjednocené VRAM a provozovat ty největší modely, jako by běžely na H100.

Realita: Je to složitější, ale čím dál reálnější.

Jak provoz LLM na více GPU funguje

Existují dva hlavní přístupy:

Tensor Parallelism (TP)

Rozděluje jednotlivé operace (například maticové násobení) mezi více GPU. Vyžaduje vysokou propustnost komunikace mezi kartami.

Nejvhodnější pro: inference s vysokou propustností, aplikace citlivé na latenci Požadavky: ideálně NVLink, minimálně PCIe 4.0 x8 na každé GPU Podporují: vLLM, TensorRT-LLM, DeepSpeed

Pipeline Parallelism (PP)

Rozděluje model na sekvenční fáze, kdy každé GPU zpracovává jiné vrstvy.

Nejvhodnější pro: vtěsnání velkých modelů, dávkové zpracování Požadavky: střední propustnost mezi GPU Podporují: llama.cpp, Ollama, většina frameworků

NVLink vs. PCIe — tvrdá realita

NVLink zajišťuje přímou komunikaci mezi GPU rychlostí ~900 GB/s (u NVLink 4.0). Umožňuje skutečné sdružování paměti, kdy karty přímo přistupují do VRAM těch ostatních.

Háček: Spotřební karty RTX už NVLink nepodporují. Posledními spotřebními GPU s podporou NVLink byly RTX 3090/3090 Ti (NVLink 3.0 @ 112.5 GB/s obousměrně).

Bez NVLink probíhá komunikace mezi GPU přes PCIe:

• mnohem pomaleji (~32-64 GB/s oproti 900 GB/s)
• vyšší latence
• VRAM nelze přímo sdružovat

Dopad v praxi:

Jak rozchodit více GPU bez NVLink

Navzdory omezením jsou sestavy s více GPU na spotřebním hardwaru čím dál použitelnější:

Doporučený software:

• llama.cpp: výborná podpora více GPU, rozdělí vrstvy mezi karty
• Ollama: jednoduché nastavení, automatické rozdělení vrstev
• vLLM: vysoce výkonné serverové nasazení, podpora tensor parallelism
• exllama2: optimalizováno pro inference na více GPU

Tipy ke konfiguraci:

1. Ověřte, že obě GPU jsou na stejném NUMA uzlu (zkontrolujete příkazem nvidia-smi topo -m)
2. U dvou GPU použijte minimálně PCIe x8/x8
3. Nastavte CUDA_VISIBLE_DEVICES správně
4. Pokud to jde, používejte stejné modely GPU (míchání generací funguje, ale může být neefektivní)

Příklady konfigurací s více GPU

Dvě RTX 5090 (celkem 64 GB)

Podporované modely:
- Qwen3-70B @ Q4_K_M (potřebuje ~42 GB) ✓
- DeepSeek R1 70B @ Q4_K_M ✓
- Llama 4 70B @ Q4_K_M ✓
- jakýkoli model 32B @ FP16 ✓

Výkon: ~40-50 tokenů/s u modelů 70B
Cena: ~$4,000 (jen GPU)
Spotřeba: 1,150W ve špičce (jen GPU)

Čtyři RTX 5090 (celkem 128 GB)

Podporované modely:
- Qwen3-235B-A22B (MoE, ~22B active) ✓
- jakýkoli model 70B @ Q8_0 ✓
- husté modely 120B+ @ Q4_K_M ✓

Výkon: proměnlivý, silně závisí na topologii PCIe
Cena: ~$8,000 (jen GPU)
Spotřeba: 2,300W ve špičce (jen GPU)
Vyžaduje: platformu HEDT/server (Threadripper, Xeon)

Levná sestava: dvě použité RTX 3090 (celkem 48 GB)

Podporované modely:
- Qwen3-32B @ Q4_K_M ✓
- DeepSeek R1 32B @ Q4_K_M ✓
- modely 70B @ agresivní kvantizace Q3 (na hraně)

Výkon: ~20-30 tokenů/s u modelů 32B
Cena: ~$1,400-1,800 (použité GPU)
Výhoda: podpora NVLink!

Část 5: Výkon v plovoucí řádové čárce do hloubky

Formáty přesnosti srozumitelně

Moderní AI využívá různé formáty číselné přesnosti:

Výhoda FP4 a FP8 u architektury Blackwell

Řada RTX 50 přináší nativní podporu FP4 přímo v Tensor jádrech:

Co to znamená:

• inference v FP8 a FP4 je na řadě RTX 50 dramaticky rychlejší
• modely optimalizované pro FP8 zrychlí zásadně
• na generaci Tensor jader záleží stejně jako na počtu CUDA jader

Propustnost paměti — druhé úzké hrdlo

U velkých modelů záleží na propustnosti paměti často víc než na výpočetním výkonu:

Počet tokenů za sekundu je omezen takto:

Max. tokenů/s = propustnost paměti (GB/s) / bajty na parametr

RTX 5090 s modelem 70B Q4_K_M:
1,792 GB/s / 35 GB = ~51 tokenů/s teoretické maximum

RTX 4090 se stejným modelem:
1,008 GB/s / 35 GB = ~29 tokenů/s teoretické maximum

O 78 % vyšší propustnost u RTX 5090 se přímo promítá do rychlejšího generování u velkých modelů.

Část 6: Nabídka open-source modelů — co provozovat

Úroveň 1: vlajkové modely (doporučeno 32GB+ VRAM)

Qwen3-235B-A22B (MoE)

• Aktivní parametry: 22B (celkem 235B)
• VRAM @ Q4: ~28GB
• Kontext: 32K nativně, 131K s YaRN
• Přednosti: matematika, programování, multijazyčnost (119 jazyků)
• Nejvhodnější pro: univerzální použití, programování, výzkum

DeepSeek R1 70B

• Parametry: 70B
• VRAM @ Q4: ~42GB
• Kontext: 128K
• Přednosti: uvažování, chain-of-thought, programování
• Nejvhodnější pro: řešení složitých úloh, výzkum

Llama 4 70B

• Parametry: 70B
• VRAM @ Q4: ~42GB
• Kontext: 128K
• Přednosti: univerzální schopnosti, dodržování instrukcí
• Nejvhodnější pro: všestranné nasazení

Úroveň 2: profesionální modely (16-24GB VRAM)

Qwen3-32B

• Parametry: 32B
• VRAM @ Q4: ~19GB
• Kontext: 128K
• Přednosti: programování (vyrovná se GPT-4o), uvažování
• Nejvhodnější pro: jedno RTX 5090/4090, vývoj

DeepSeek R1 Distill 32B

• Parametry: 32B
• VRAM @ Q4: ~19GB
• Přednosti: uvažování destilované z většího modelu
• Nejvhodnější pro: cenově efektivní uvažování

Gemma 3 27B

• Parametry: 27B
• VRAM @ Q4: ~16GB
• Kontext: 128K
• Přednosti: efektivní, kvalita od Googlu, multimodální
• Nejvhodnější pro: sestavy s RTX 5080/5070 Ti

Úroveň 3: spotřebitelské modely (8-16GB VRAM)

Qwen3-14B

• Parametry: 14B
• VRAM @ Q4: ~8.4GB
• Kontext: 128K
• Přednosti: výborný poměr velikosti a schopností
• Nejvhodnější pro: RTX 5070 Ti, 4070 Ti, běžné použití

Qwen3-8B

• Parametry: 8B
• VRAM @ Q4: ~4.8GB
• Kontext: 32K nativně, 131K rozšířeně
• Přednosti: rychlý, schopný, vejde se všude
• Nejvhodnější pro: vstupní sestavy, aplikace v reálném čase

DeepSeek R1 Distill 14B (základ Qwen)

• Parametry: 14B
• VRAM @ Q4: ~8.4GB
• Přednosti: silné uvažování díky destilaci
• Nejvhodnější pro: programovací asistenty, řešení úloh

Llama 4 8B

• Parametry: 8B
• VRAM @ Q4: ~4.8GB
• Přednosti: rychlý a vyvážený
• Nejvhodnější pro: běžné úkoly, chatovací aplikace

Úroveň 4: edge a embedded (4-8GB VRAM)

Qwen3-4B

• Parametry: 4B
• VRAM @ Q4: ~2.4GB
• Přednosti: výkonem konkuruje Qwen2.5-7B
• Nejvhodnější pro: notebooky, integrovanou grafiku, edge zařízení

Phi-4 (Microsoft)

• Parametry: 14B
• VRAM @ Q4: ~8.4GB
• Přednosti: na svou velikost výjimečný, zaměřený na STEM
• Nejvhodnější pro: vzdělávání a technické aplikace

Qwen3-0.6B

• Parametry: 0.6B
• VRAM @ Q4: <1GB
• Přednosti: běží kdekoli
• Nejvhodnější pro: IoT, mobilní zařízení, prostředí s minimem zdrojů

Rozhodovací strom pro výběr modelu

Jaká je Vaše hlavní kapacita VRAM?

├─ 32GB+ (RTX 5090, dvě 3090)
│   └─ Qwen3-235B-A22B nebo DeepSeek R1 70B @ Q4
│
├─ 24GB (RTX 4090, 3090)
│   └─ Qwen3-32B @ Q4 nebo DeepSeek R1 32B @ Q4
│
├─ 16GB (RTX 5080, 5070 Ti, 4080)
│   └─ Qwen3-14B @ Q4 nebo Gemma 3 27B @ Q4
│
├─ 12GB (RTX 5070, 4070 Ti)
│   └─ Qwen3-8B @ Q4 nebo Llama 4 8B @ Q4
│
└─ 8GB (RTX 4070, 3070)
    └─ Qwen3-4B @ Q4 nebo Phi-4 @ agresivní kvantizace

Část 7: Doporučené kompletní sestavy

Sestava 1: Vstupní brána ($1,200-1,500)

Využití: osobní AI asistent, pomoc s programováním, experimentování

Zvládne:

• Qwen3-14B @ Q4 (~8.4GB) — výborně
• DeepSeek R1 14B @ Q4 — výborně
• Qwen3-32B @ Q3 (agresivní) — jde to, ale je to těsné
• několik modelů 8B současně

Odhadovaný výkon: 35-50 tokenů/s u modelů 14B

Sestava 2: Ideální prosumer kompromis ($3,500-4,500)

Využití: profesionální vývoj, výzkum, tvorba obsahu

Zvládne:

• Qwen3-32B @ Q4 — pohodlně, s rezervou 13 GB
• DeepSeek R1 32B @ Q6 — vyšší kvalita
• Qwen3-235B-A22B @ Q4 — těsné, ale funguje
• jakýkoli model do 32B ve vysoké kvalitě

Odhadovaný výkon: 50-80 tokenů/s u modelů 32B

Sestava 3: Lokální AI server ($7,000-10,000)

Využití: týmový inferenční server, experimenty s modely, produkční workloady

Zvládne:

• DeepSeek R1 70B @ Q4 — v plném výkonu
• Qwen3-235B-A22B @ Q4 — výborně
• jakýkoli model do 120B parametrů
• několik modelů 32B pro A/B testování

Odhadovaný výkon: 40-50 tokenů/s u modelů 70B

Sestava 4: Levná laboratoř ($2,000-2,500 z bazaru)

Využití: učení, vývoj, nadšenec hlídající rozpočet

Výhoda NVLink: Jde o jedinou spotřebitelskou konfiguraci s podporou NVLink, která nabízí skutečné sdružování VRAM rychlostí 112.5 GB/s oproti ~32 GB/s u PCIe.

Zvládne:

• Qwen3-32B @ Q8 (vyšší kvalita) — pohodlně
• DeepSeek R1 32B @ FP16 — při pečlivé správě kontextu
• modely 70B @ agresivní Q3 — možné

Odhadovaný výkon: 25-35 tokenů/s u modelů 32B (rychleji, než byste čekali, díky NVLink)

Sestava 5: Přenosný tahoun (notebook)

Využití: mobilní vývoj AI, inference na cestách

Zajímavé modely:

• ASUS ROG Strix SCAR 18 (2026)
• Razer Blade 18 (2026)
• MSI Titan GT78 (2026)

Zvládne:

• Qwen3-14B @ Q4 — výborně
• DeepSeek R1 14B @ Q4 — výborně
• Qwen3-32B @ Q4 — těsné, ale funguje

Poznámka: Mobilní RTX 5090 má 24 GB (ne 32 GB) a nižší TDP. Počítejte zhruba se 70 % výkonu desktopové verze.

Část 8: Doporučený softwarový stack

Základní nástroje

Ollama — nejsnazší cesta

# Instalace
curl -fsSL https://ollama.ai/install.sh | sh

# Spuštění Qwen3 8B
ollama run qwen3:8b

# Spuštění s konkrétní kvantizací
ollama run qwen3:14b-q4_K_M

# Více GPU (automaticky)
CUDA_VISIBLE_DEVICES=0,1 ollama run qwen3:32b

Nejvhodnější pro: začátky, jednoduchá nasazení, poskytování API

LM Studio — pohodlné GUI

• vizuální prohlížeč modelů
• stahování jedním kliknutím
• vestavěné chatovací rozhraní
• výběr kvantizace

Nejvhodnější pro: netechnické uživatele, zkoumání modelů

llama.cpp — maximální kontrola

# Sestavení s podporou CUDA
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release

# Spuštění na více GPU
./llama-server -m qwen3-32b-q4_k_m.gguf \
  -ngl 99 \
  --tensor-split 0.5,0.5 \
  -c 8192

Nejvhodnější pro: pokročilé uživatele, vlastní nasazení, maximální výkon

vLLM — nasazení do produkce

# Instalace
pip install vllm

# Spuštění s tensor parallelism
python -m vllm.entrypoints.openai.api_server \
  --model Qwen/Qwen3-32B \
  --tensor-parallel-size 2 \
  --dtype auto

Nejvhodnější pro: vysoký průtok, API endpointy, produkci

Kde modely stáhnout

Část 9: Tipy na optimalizaci

Optimalizace VRAM

1. Používejte kvantizaci Q4_K_M — nejlepší poměr velikosti a kvality
2. Omezte délku kontextu — 8K místo 32K ušetří zhruba 40 % VRAM
3. Vypněte KV cache u jednorázových promptů
4. Použijte Flash Attention 2 — sníží paměťové nároky u dlouhých kontextů
5. Zapněte paměťově úspornou inferenci ve vLLM

Optimalizace rychlosti

1. Maximalizujte propustnost paměti GPU — rychlejší paměť = rychlejší tokeny
2. Používejte FP8, kde to jde — 2-3x zrychlení na řadě RTX 50
3. Zapněte spekulativní dekódování — malý model zrychlí ten velký
4. Dávkujte požadavky — vyšší průtok při nasazení
5. Využijte continuous batching (vLLM) — dynamické zpracování požadavků

Optimalizace více GPU

1. Používejte stejné modely GPU — nemíchejte generace
2. Zkontrolujte topologii NUMA — stejný uzel = nižší latence
3. Používejte minimálně x8 linek — x4 vytváří úzké hrdlo
4. Sledujte nvidia-smi — hlídejte nerovnoměrné vytížení
5. Vyzkoušejte různé konfigurace TP/PP — optimum se liší podle modelu

Část 10: Řešení častých problémů

"CUDA out of memory"

Příčiny:

• model je na VRAM příliš velký
• příliš dlouhé kontextové okno
• růst KV cache

Řešení:

1. použijte agresivnější kvantizaci (Q4 → Q3)
2. zkraťte kontext
3. snižte velikost dávky
4. zapněte flash attention
5. rozdělte zátěž mezi více GPU

Pomalé generování tokenů

Příčiny:

• omezená propustnost paměti
• aktivní odkládání na CPU
• teplotní throttling

Řešení:

1. zajistěte, aby se model vešel celý do VRAM
2. zkontrolujte teplotu GPU (cíl <85°C)
3. použijte menší model
4. zapněte výkonnostní režim GPU
5. zlepšete proudění vzduchu ve skříni

Více GPU neškáluje

Příčiny:

• úzké hrdlo propustnosti PCIe
• špatné rozdělení vrstev
• problémy se vzdáleností NUMA uzlů

Řešení:

1. Zkontrolujte nvidia-smi topo -m kvůli topologii
2. upravte poměry rozdělení tenzorů
3. zajistěte alespoň PCIe x8 na každé GPU
4. zvažte NVLink (RTX 3090)
5. použijte pipeline parallelism místo tensor parallelism

Závěr: jak se rozhodnout správně

Postavit si v roce 2026 vlastní lokální AI systém je dostupnější než kdy dřív. Shrnutí:

Rychlá doporučení:

Zlatá pravidla:

1. VRAM > všechno ostatní — víc paměti = víc možností
2. Kvantizace je Váš přítel — Q4_K_M je ideální kompromis
3. Více GPU má klesající přínos — bez NVLink čekejte ze dvou GPU zhruba 1.6x
4. Na propustnosti paměti záleží — zvlášť u velkých modelů
5. Začněte v malém a rozšiřujte — otestujte si své workloady dřív, než investujete

Ekosystém open-source AI jde rychle dopředu. Modely, které před dvěma lety vyžadovaly hardware za $100K, dnes běží na sestavách za $2K. Cokoli dnes postavíte, bude s dalším zefektivňováním modelů jen schopnější.

Vítejte ve věku osobní AI.

Doporučení hardwaru a aktuální dostupnost najdete na Kentino.com

Příloha: rychlé přehledové tabulky

Nároky modelů na VRAM (Q4_K_M)

Srovnání GPU pro AI

Poslední aktualizace: leden 2026 Článek připravil technický tým Kentino