Stavba vlastného AI systému: kompletný sprievodca spotrebiteľským GPU hardvérom pre lokálne LLM v roku 2026

Hĺbkový pohľad na limity VRAM, zlučovanie pamäte viacerých GPU, obmedzenia PCIe a výkon v plávajúcej desatinnej čiarke

Autor: technický tím Kentino.com | Január 2026

Úvod: Prečo si stavať vlastný AI systém?

AI revolúcia sa už dávno neodohráva len v dátových centrách. Open-source modely ako DeepSeek R1, Qwen 3, Llama 4 či Gemma dosahujú bezprecedentné schopnosti a prevádzkovať výkonnú AI lokálne je dnes nielen možné—ale aj praktické.

Je tu však jeden háčik, o ktorom sa mlčí: VRAM je kráľ a všetko ostatné je kompromis.

Táto príručka Vás prevedie cestou od zmäteného kupujúceho GPU k informovanému architektovi AI systémov. Pokryjeme všetko od zostáv s jednou GPU pre modely s 8B parametrami až po konfigurácie s viacerými GPU, ktoré zvládnu kolosy so 70B+ parametrami. Či už staviate asistenta na programovanie, výskumný workstation alebo privátny AI server, tu nájdete všetko podstatné.

Časť 1: Ako rozumieť VRAM — mene sveta AI

Prečo na VRAM záleží viac než na čomkoľvek inom

Pri prevádzke veľkých jazykových modelov (LLM) je VRAM (Video Random Access Memory) Vašej GPU tou najdôležitejšou špecifikáciou. Na rozdiel od hrania, kde VRAM ukladá najmä textúry a snímkové buffery, AI workloady potrebujú VRAM na:

1. Váhy modelu: miliardy parametrov, ktoré definujú znalosti AI
2. KV cache: pamäť, ktorá rastie s dĺžkou konverzácie (kontextové okno)
3. Aktivačná pamäť: dočasné výpočty počas inferencie
4. Réžia systému: CUDA kernely, správa pamäte, runtime buffery

Zlatý vzorec:

Potrebná VRAM (GB) = (parametre v miliardách × presnosť v bajtoch) × 1.2

Príklady:
- 8B model @ FP16 (2 bajty):   8 × 2 × 1.2 = ~19.2 GB
- 8B model @ Q4 (0.5 bajtu):   8 × 0.5 × 1.2 = ~4.8 GB
- 70B model @ FP16 (2 bajty):  70 × 2 × 1.2 = ~168 GB
- 70B model @ Q4 (0.5 bajtu):  70 × 0.5 × 1.2 = ~42 GB

Revolúcia v kvantizácii

Kvantizácia je technika, vďaka ktorej sa dajú veľké modely spúšťať na spotrebiteľskom hardvéri. Znížením presnosti váh modelu zo 16-bitovej (FP16) na 4-bitovú (Q4) rozbehnete modely, ktoré by inak vyžadovali podnikový hardvér.

Zlatá stredná cesta: kvantizácia Q4_K_M prináša 75% úsporu pamäte pri len ~5% strate kvality—a práve preto je v roku 2026 zlatým štandardom pre nasadenie na spotrebiteľskom hardvéri.

Časť 2: Prehľad GPU v roku 2026

Séria NVIDIA RTX 50 — nový štandard

Architektúra NVIDIA Blackwell prináša pre AI workloady výrazné zlepšenia:

RTX 5090 — vlajková šelma

Čo Vám 32GB VRAM umožní:

• Qwen3-32B @ Q4_K_M — pohodlne
• DeepSeek R1 32B @ Q4_K_M — s rezervou na kontext
• Llama 4 8B @ FP16 — plná presnosť
• 70B modely @ Q4_K_M — s agresívnymi limitmi kontextu

O 78% vyššia priepustnosť RTX 5090 oproti 4090 znamená rýchlejšie generovanie tokenov, čo je kritické najmä pri väčších modeloch, kde sa úzkym hrdlom stáva práve priepustnosť pamäte.

RTX 5080 — praktická voľba

Čo Vám 16GB VRAM umožní:

• Qwen3-14B @ Q4_K_M — skvelý výkon
• DeepSeek R1 14B @ Q4_K_M — výborný na programovanie
• Llama 4 8B @ Q8_0 — vysoká kvalita
• 32B modely pri agresívnej kvantizácii — možné, ale tesné

RTX 5070 Ti — cenovo dostupný ťahúň pre AI

RTX 5070 Ti ponúka rovnakých 16GB VRAM ako 5080 za o 25% nižšiu cenu—a je tak zrejme najvýhodnejšou voľbou pre dedikovanú AI prácu, keď nie je kľúčová surová rýchlosť generovania tokenov.

RTX 5070 — vstupná brána

Problém s 12GB: Cena RTX 5070 je síce lákavá, no 12GB VRAM prináša výrazné obmedzenia. Pri modeloch 14B+ a dlhších kontextových oknách narazíte na strop. Berte 4GB navyše pri 5070 Ti ako nevyhnutnú poistku.

Predchádzajúca generácia stále obstojí

RTX 4090 — stále v hre

RTX 4090 s 24GB VRAM zostáva pre AI vynikajúca. Ak ju zoženiete za dobrú cenu, zvládne:

• 14B modely pri vysokej kvantizácii
• 32B modely v Q4_K_M (tesne)
• Viacero 8B modelov naraz

RTX 3090 / 3090 Ti — králi pomeru cena/výkon

S 24GB VRAM (rovnako ako 4090) sú tieto staršie karty pre AI neuveriteľne výhodné:

• Nižšia priepustnosť (936 GB/s)
• Staršie Tensor jadrá (3. gen.)
• Ale rovnaká kapacita 24GB

Ak je pre Vás dôležitejšia samotná VRAM než rýchlosť (napr. pri dávkovom spracovaní alebo vývoji), použitá 3090 za $700-900 porazí pri AI workloadoch novú 5070 za $549.

Časť 3: Obmedzenia PCIe v praxi

Realita priepustnosti PCIe

PCIe (Peripheral Component Interconnect Express) je diaľnica medzi Vašou GPU a zvyškom systému. Toto potrebujete vedieť:

Kedy na PCIe záleží (a kedy nie)

Na PCIe záleží pri:

• prvotnom načítaní modelu (pri veľkých modeloch ušetrí minúty)
• komunikácii medzi viacerými GPU (kritická pri tensor paralelizme)
• zmiešanej inferencii CPU/GPU (keď sa model prelieva do RAM)

Na PCIe príliš nezáleží pri:

• inferencii na jednej GPU po načítaní modelu
• inferencii malých modelov
• dlho bežiacich reláciách, kde je čas načítania zanedbateľný

Praktické odporúčanie:

• Jedna GPU: PCIe 4.0 x8 zvyčajne postačí
• Dve GPU: odporúčame PCIe 4.0 x16/x16 alebo x8/x8
• Štyri GPU: odporúčame PCIe 5.0 alebo podnikové platformy

Limity liniek CPU podľa platformy

Úzke hrdlo spotrebiteľských platforiem: Väčšina spotrebiteľských CPU (Intel Core, AMD Ryzen) poskytuje priamo z procesora len 16-24 liniek PCIe. To znamená:

• Prvá GPU dostane plných x16
• Pridanie druhej GPU často zráža obe na x8/x8
• Tretia a štvrtá GPU môžu bežať na x4

Pri serióznej AI práci s viacerými GPU zvážte platformy Threadripper PRO alebo HEDT.

Časť 4: Konfigurácie s viacerými GPU — zlučovanie VRAM

Sen vs. realita

Sen: Spojiť 4× RTX 5090 do 128GB jednotnej VRAM a spúšťať najväčšie modely, akoby bežali na H100.

Realita: Je to zložité, ale čoraz reálnejšie.

Ako funguje viac GPU pri LLM

Existujú dva hlavné prístupy:

Tensor paralelizmus (TP)

Rozdeľuje jednotlivé operácie (napríklad násobenie matíc) medzi viaceré GPU. Vyžaduje komunikáciu s vysokou priepustnosťou medzi GPU.

Najvhodnejšie pre: Inferenciu s vysokou priepustnosťou, aplikácie citlivé na latenciu Požiadavky: Ideálne NVLink, minimálne PCIe 4.0 x8 na každú GPU Podporujú: vLLM, TensorRT-LLM, DeepSpeed

Pipeline paralelizmus (PP)

Rozdeľuje model na postupné fázy, pričom každá GPU spracúva iné vrstvy.

Najvhodnejšie pre: Umiestnenie veľkých modelov, dávkové spracovanie Požiadavky: Stredná priepustnosť medzi GPU Podporujú: llama.cpp, Ollama, väčšina frameworkov

NVLink vs. PCIe — tvrdá pravda

NVLink zabezpečuje priamu komunikáciu medzi GPU rýchlosťou ~900 GB/s (pri NVLink 4.0). Umožňuje skutočné zlučovanie pamäte, pri ktorom GPU pristupujú priamo do VRAM tej druhej.

Problém: Spotrebiteľské karty RTX už NVLink nepodporujú. Poslednými spotrebiteľskými GPU s NVLink boli RTX 3090/3090 Ti (NVLink 3.0 @ 112.5 GB/s obojsmerne).

Bez NVLink prebieha komunikácia medzi GPU cez PCIe:

• Oveľa pomalšie (~32-64 GB/s oproti 900 GB/s)
• Vyššia latencia
• VRAM sa nedá priamo zlučovať

Praktický dopad:

Ako rozbehnúť viac GPU bez NVLink

Napriek obmedzeniam sú zostavy s viacerými GPU na spotrebiteľskom hardvéri čoraz použiteľnejšie:

Odporúčaný softvér:

• llama.cpp: vynikajúca podpora viacerých GPU, rozdeľuje vrstvy medzi karty
• Ollama: jednoduché nastavenie, automatická distribúcia vrstiev
• vLLM: vysokovýkonná prevádzka, podpora tensor paralelizmu
• exllama2: optimalizovaný na inferenciu s viacerými GPU

Tipy na konfiguráciu:

1. Uistite sa, že obe GPU sú na rovnakom NUMA uzle (overte príkazom nvidia-smi topo -m)
2. Pri dvoch GPU použite minimálne PCIe x8/x8
3. Nastavte CUDA_VISIBLE_DEVICES správne
4. Ak sa dá, používajte rovnaké modely GPU (miešanie generácií funguje, ale môže byť neefektívne)

Príklady konfigurácií s viacerými GPU

Dve RTX 5090 (spolu 64GB)

Podporované modely:
- Qwen3-70B @ Q4_K_M (potrebuje ~42GB) ✓
- DeepSeek R1 70B @ Q4_K_M ✓
- Llama 4 70B @ Q4_K_M ✓
- Ľubovoľný 32B model @ FP16 ✓

Výkon: ~40-50 tokenov/s pri 70B modeloch
Cena: ~$4,000 (len GPU)
Spotreba: 1,150W v špičke (len GPU)

Štyri RTX 5090 (spolu 128GB)

Podporované modely:
- Qwen3-235B-A22B (MoE, ~22B aktívnych) ✓
- Ľubovoľný 70B model @ Q8_0 ✓
- 120B+ husté modely @ Q4_K_M ✓

Výkon: premenlivý, silno závisí od topológie PCIe
Cena: ~$8,000 (len GPU)
Spotreba: 2,300W v špičke (len GPU)
Vyžaduje: platformu HEDT/server (Threadripper, Xeon)

Rozpočtová zostava: dve použité RTX 3090 (spolu 48GB)

Podporované modely:
- Qwen3-32B @ Q4_K_M ✓
- DeepSeek R1 32B @ Q4_K_M ✓
- 70B modely pri agresívnej kvantizácii Q3 (hraničné)

Výkon: ~20-30 tokenov/s pri 32B modeloch
Cena: ~$1,400-1,800 (použité GPU)
Výhoda: podpora NVLink!

Časť 5: Hĺbkový pohľad na výkon v plávajúcej desatinnej čiarke

Formáty presnosti vysvetlené

Moderná AI využíva rôzne formáty číselnej presnosti:

Výhoda FP4 a FP8 v architektúre Blackwell

Séria RTX 50 prináša natívnu podporu FP4 v Tensor jadrách:

Čo to znamená:

• Inferencia vo FP8 a FP4 je na sérii RTX 50 dramaticky rýchlejšia
• Modely optimalizované pre FP8 zaznamenajú obrovské zrýchlenie
• Na generácii Tensor jadier záleží rovnako ako na CUDA jadrách

Priepustnosť pamäte — druhé úzke hrdlo

Pri veľkých modeloch záleží často viac na priepustnosti pamäte než na výpočtovom výkone:

Počet tokenov za sekundu je obmedzený takto:

Max. tokenov/s = priepustnosť pamäte (GB/s) / bajty na parameter

RTX 5090 s modelom 70B Q4_K_M:
1,792 GB/s / 35 GB = ~51 tokenov/s teoretické maximum

RTX 4090 s rovnakým modelom:
1,008 GB/s / 35 GB = ~29 tokenov/s teoretické maximum

O 78% vyššia priepustnosť RTX 5090 sa priamo premieta do rýchlejšieho generovania pri veľkých modeloch.

Časť 6: Prehľad open-source modelov — čo spustiť

Úroveň 1: vlajkové modely (odporúčame 32GB+ VRAM)

Qwen3-235B-A22B (MoE)

• Aktívne parametre: 22B (celkovo 235B)
• VRAM @ Q4: ~28GB
• Kontext: 32K natívne, 131K s YaRN
• Silné stránky: Matematika, programovanie, viacjazyčnosť (119 jazykov)
• Najvhodnejšie pre: Všeobecné použitie, programovanie, výskum

DeepSeek R1 70B

• Parametre: 70B
• VRAM @ Q4: ~42GB
• Kontext: 128K
• Silné stránky: Uvažovanie, reťazec myšlienok, programovanie
• Najvhodnejšie pre: Riešenie zložitých problémov, výskum

Llama 4 70B

• Parametre: 70B
• VRAM @ Q4: ~42GB
• Kontext: 128K
• Silné stránky: Všeobecné schopnosti, dodržiavanie inštrukcií
• Najvhodnejšie pre: Univerzálne nasadenie

Úroveň 2: profesionálne modely (16-24GB VRAM)

Qwen3-32B

• Parametre: 32B
• VRAM @ Q4: ~19GB
• Kontext: 128K
• Silné stránky: Programovanie (na úrovni GPT-4o), uvažovanie
• Najvhodnejšie pre: Jedna RTX 5090/4090, vývoj

DeepSeek R1 Distill 32B

• Parametre: 32B
• VRAM @ Q4: ~19GB
• Silné stránky: Uvažovanie destilované z väčšieho modelu
• Najvhodnejšie pre: Cenovo efektívne uvažovanie

Gemma 3 27B

• Parametre: 27B
• VRAM @ Q4: ~16GB
• Kontext: 128K
• Silné stránky: Efektívny, kvalita od Google, multimodálny
• Najvhodnejšie pre: Zostavy s RTX 5080/5070 Ti

Úroveň 3: spotrebiteľské modely (8-16GB VRAM)

Qwen3-14B

• Parametre: 14B
• VRAM @ Q4: ~8.4GB
• Kontext: 128K
• Silné stránky: Vynikajúca rovnováha medzi veľkosťou a schopnosťami
• Najvhodnejšie pre: RTX 5070 Ti, 4070 Ti, všeobecné použitie

Qwen3-8B

• Parametre: 8B
• VRAM @ Q4: ~4.8GB
• Kontext: 32K natívne, 131K rozšírene
• Silné stránky: Rýchly, schopný, zmestí sa všade
• Najvhodnejšie pre: Vstupné zostavy, aplikácie v reálnom čase

DeepSeek R1 Distill 14B (základ Qwen)

• Parametre: 14B
• VRAM @ Q4: ~8.4GB
• Silné stránky: Silné uvažovanie vďaka destilácii
• Najvhodnejšie pre: Programátorskí asistenti, riešenie problémov

Llama 4 8B

• Parametre: 8B
• VRAM @ Q4: ~4.8GB
• Silné stránky: Rýchly, vyvážený
• Najvhodnejšie pre: Každodenné úlohy, chatovacie aplikácie

Úroveň 4: edge a vstavané systémy (4-8GB VRAM)

Qwen3-4B

• Parametre: 4B
• VRAM @ Q4: ~2.4GB
• Silné stránky: Výkonom konkuruje Qwen2.5-7B
• Najvhodnejšie pre: Notebooky, integrovaná grafika, edge zariadenia

Phi-4 (Microsoft)

• Parametre: 14B
• VRAM @ Q4: ~8.4GB
• Silné stránky: Na svoju veľkosť výnimočný, zameranie na STEM
• Najvhodnejšie pre: Vzdelávacie a technické nasadenie

Qwen3-0.6B

• Parametre: 0.6B
• VRAM @ Q4: <1GB
• Silné stránky: Beží kdekoľvek
• Najvhodnejšie pre: IoT, mobily, prostredia s extrémne nízkymi zdrojmi

Rozhodovací strom pre výber modelu

Aká je Vaša primárna kapacita VRAM?

├─ 32GB+ (RTX 5090, dve 3090)
│   └─ Qwen3-235B-A22B alebo DeepSeek R1 70B @ Q4
│
├─ 24GB (RTX 4090, 3090)
│   └─ Qwen3-32B @ Q4 alebo DeepSeek R1 32B @ Q4
│
├─ 16GB (RTX 5080, 5070 Ti, 4080)
│   └─ Qwen3-14B @ Q4 alebo Gemma 3 27B @ Q4
│
├─ 12GB (RTX 5070, 4070 Ti)
│   └─ Qwen3-8B @ Q4 alebo Llama 4 8B @ Q4
│
└─ 8GB (RTX 4070, 3070)
    └─ Qwen3-4B @ Q4 alebo Phi-4 pri agresívnej kvantizácii

Časť 7: Odporúčané kompletné zostavy

Zostava 1: vstupná brána ($1,200-1,500)

Použitie: Osobný AI asistent, pomoc s programovaním, experimentovanie

Zvládne:

• Qwen3-14B @ Q4 (~8.4GB) — výborne
• DeepSeek R1 14B @ Q4 — výborne
• Qwen3-32B @ Q3 (agresívne) — možné, ale tesné
• Viacero 8B modelov naraz

Odhadovaný výkon: 35-50 tokenov/s pri 14B modeloch

Zostava 2: ideál pre náročných ($3,500-4,500)

Použitie: Profesionálny vývoj, výskum, tvorba obsahu

Zvládne:

• Qwen3-32B @ Q4 — pohodlne, s rezervou 13GB
• DeepSeek R1 32B @ Q6 — vyššia kvalita
• Qwen3-235B-A22B @ Q4 — tesné, ale funguje
• Ľubovoľný model do 32B vo vysokej kvalite

Odhadovaný výkon: 50-80 tokenov/s pri 32B modeloch

Zostava 3: lokálny AI server ($7,000-10,000)

Použitie: Tímový inferenčný server, experimentovanie s modelmi, produkčné workloady

Zvládne:

• DeepSeek R1 70B @ Q4 — plný výkon
• Qwen3-235B-A22B @ Q4 — výborne
• Ľubovoľný model do 120B parametrov
• Viacero 32B modelov na A/B testovanie

Odhadovaný výkon: 40-50 tokenov/s pri 70B modeloch

Zostava 4: rozpočtové laboratórium ($2,000-2,500 z bazáru)

Použitie: Učenie, vývoj, nadšenec hľadiaci na cenu

Výhoda NVLink: Ide o jedinú spotrebiteľskú konfiguráciu s podporou NVLink, ktorá ponúka skutočné zlučovanie VRAM rýchlosťou 112.5 GB/s oproti ~32 GB/s cez PCIe.

Zvládne:

• Qwen3-32B @ Q8 (vyššia kvalita) — pohodlne
• DeepSeek R1 32B @ FP16 — pri starostlivom manažmente kontextu
• 70B modely pri agresívnom Q3 — možné

Odhadovaný výkon: 25-35 tokenov/s pri 32B modeloch (rýchlejšie, než by ste čakali, vďaka NVLink)

Zostava 5: prenosný silák (notebook)

Použitie: Mobilný vývoj AI, inferencia na cestách

Zaujímavé modely:

• ASUS ROG Strix SCAR 18 (2026)
• Razer Blade 18 (2026)
• MSI Titan GT78 (2026)

Zvládne:

• Qwen3-14B @ Q4 — výborne
• DeepSeek R1 14B @ Q4 — výborne
• Qwen3-32B @ Q4 — tesné, ale funguje

Poznámka: Mobilná RTX 5090 má 24GB (nie 32GB) a nižšie TDP. Počítajte s ~70% výkonu desktopovej verzie.

Časť 8: Odporúčaný softvérový stack

Nevyhnutné nástroje

Ollama — cesta najmenšieho odporu

# Inštalácia
curl -fsSL https://ollama.ai/install.sh | sh

# Spustenie Qwen3 8B
ollama run qwen3:8b

# Spustenie s konkrétnou kvantizáciou
ollama run qwen3:14b-q4_K_M

# Viac GPU (automaticky)
CUDA_VISIBLE_DEVICES=0,1 ollama run qwen3:32b

Najvhodnejšie pre: Začiatky, jednoduché nasadenia, poskytovanie API

LM Studio — pohodlné grafické rozhranie

• Vizuálny prehliadač modelov
• Sťahovanie na jedno kliknutie
• Vstavané chatovacie rozhranie
• Výber kvantizácie

Najvhodnejšie pre: Netechnickí používatelia, objavovanie modelov

llama.cpp — maximálna kontrola

# Zostavenie s podporou CUDA
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release

# Spustenie s viacerými GPU
./llama-server -m qwen3-32b-q4_k_m.gguf \
  -ngl 99 \
  --tensor-split 0.5,0.5 \
  -c 8192

Najvhodnejšie pre: Pokročilí používatelia, vlastné nasadenia, maximálny výkon

vLLM — produkčné nasadenie

# Inštalácia
pip install vllm

# Spustenie s tensor paralelizmom
python -m vllm.entrypoints.openai.api_server \
  --model Qwen/Qwen3-32B \
  --tensor-parallel-size 2 \
  --dtype auto

Najvhodnejšie pre: Prevádzka s vysokou priepustnosťou, API endpointy, produkcia

Zdroje modelov

Časť 9: Tipy na optimalizáciu

Optimalizácia VRAM

1. Používajte kvantizáciu Q4_K_M — najlepšia rovnováha veľkosti a kvality
2. Obmedzte dĺžku kontextu — 8K namiesto 32K ušetrí ~40% VRAM
3. Vypnite KV cache pri jednorazových promptoch
4. Používajte Flash Attention 2 — znižuje spotrebu pamäte pri dlhých kontextoch
5. Zapnite pamäťovo úspornú inferenciu vo vLLM

Optimalizácia rýchlosti

1. Maximalizujte priepustnosť pamäte GPU — rýchlejšia pamäť = rýchlejšie tokeny
2. Používajte FP8, ak je dostupné — 2-3x zrýchlenie na sérii RTX 50
3. Zapnite špekulatívne dekódovanie — malý model zrýchli ten veľký
4. Dávkujte požiadavky — vyššia priepustnosť pri prevádzke
5. Používajte kontinuálne dávkovanie (vLLM) — dynamické spracovanie požiadaviek

Optimalizácia viacerých GPU

1. Používajte rovnaké modely GPU — vyhnite sa miešaniu generácií
2. Skontrolujte topológiu NUMA — rovnaký uzol = nižšia latencia
3. Používajte minimálne linky x8 — x4 vytvára úzke hrdlá
4. Sledujte cez nvidia-smi — pozor na nevyvážené vyťaženie
5. Otestujte rôzne konfigurácie TP/PP — optimum sa líši podľa modelu

Časť 10: Riešenie bežných problémov

"CUDA out of memory"

Príčiny:

• Model je príliš veľký pre VRAM
• Príliš dlhé kontextové okno
• Rast KV cache

Riešenia:

1. Použite agresívnejšiu kvantizáciu (Q4 → Q3)
2. Skráťte dĺžku kontextu
3. Znížte veľkosť dávky
4. Zapnite flash attention
5. Rozdeľte model medzi viaceré GPU

Pomalé generovanie tokenov

Príčiny:

• Obmedzenie priepustnosťou pamäte
• Aktívne odkladanie na CPU
• Tepelné škrtenie výkonu

Riešenia:

1. Uistite sa, že sa model celý zmestí do VRAM
2. Skontrolujte teplotu GPU (cieľ <85°C)
3. Použite menší model
4. Zapnite výkonnostný režim GPU
5. Zlepšite prúdenie vzduchu v skrini

Viac GPU neškáluje

Príčiny:

• Úzke hrdlo priepustnosti PCIe
• Nesprávne rozdelenie vrstiev
• Problémy so vzdialenosťou NUMA

Riešenia:

1. Skontrolujte nvidia-smi topo -m kvôli topológii
2. Upravte pomery rozdelenia tensorov
3. Zabezpečte PCIe x8+ na každú GPU
4. Zvážte NVLink (RTX 3090)
5. Použite pipeline paralelizmus namiesto tensor paralelizmu

Záver: ako sa správne rozhodnúť

Postaviť lokálny AI systém je v roku 2026 dostupnejšie než kedykoľvek predtým. Tu je zhrnutie:

Rýchle odporúčania:

Zlaté pravidlá:

1. VRAM > všetko ostatné — viac pamäte = viac možností modelov
2. Kvantizácia je Váš priateľ — Q4_K_M je zlatá stredná cesta
3. Viac GPU prináša klesajúci úžitok — bez NVLink počítajte s ~1.6x pri dvoch GPU
4. Na priepustnosti pamäte záleží — najmä pri veľkých modeloch
5. Začnite v malom a škálujte — otestujte si svoje workloady skôr, než investujete

Open-source AI ekosystém napreduje míľovými krokmi. Modely, ktoré pred dvoma rokmi potrebovali hardvér za $100K, dnes bežia na systémoch za $2K. Čokoľvek postavíte dnes, bude s rastúcou efektivitou modelov len schopnejšie.

Vitajte vo veku osobnej AI.

Odporúčania k hardvéru a jeho dostupnosť nájdete na Kentino.com

Príloha: rýchle referenčné tabuľky

Požiadavky modelov na VRAM (Q4_K_M)

Porovnanie GPU pre AI

Posledná aktualizácia: január 2026 Článok pripravil technický tím Kentino