Úrovne úložiska v AI serveri: model, dataset, scratch, checkpoint

S kupujúcimi vedieme o NVMe stále dokola jeden a ten istý rozhovor. Žiadajú „čo najrýchlejšie“, pretože v katalógových listoch vidia 14 GB/s na Gen5 disku a 4090 vedľa Samsungu 9100 PRO znie ako vyvážená dvojica. Potom sa opýtame, na čo ten stroj vlastne bude, odpoveď znie „hlavne inferencia“ — a správna zostava sa ukáže ako jeden disk namiesto ôsmich. Úložisko je v AI serveri tá časť špecifikácie, kde sa prekupuje najľahšie, predajcu to nič nestojí a workload si to takmer vôbec nevšimne.

Tento článok preberá štyri reálne vrstvy úložiska v jednom AI serveri, čo musí každá z nich skutočne zvládať, ako vyzerá trh s NVMe v roku 2026, kedy sa Gen5 oplatí zaplatiť, prečo hardvérový RAID pri NVMe prestal dávať zmysel a ako každú vrstvu nadimenzovať bez zbytočne vyhodených peňazí. Voľba súborového systému je samostatná téma, ktorej sa venuje L04; klastrom zdieľané úložisko (NFS, BeeGFS, Lustre, objektové úložiská) rieši K04. Tu zostávame vnútri šasi.

Štyri vrstvy úložiska

Seriózny AI server má štyri odlišné role úložiska. Majú úplne iné nároky na veľkosť, priepustnosť, výdrž aj cenu. Prvá chyba je brať ich ako jeden spoločný priestor.

Inferenčný server so štyrmi GPU zvyčajne potrebuje len prvú vrstvu a možno kúsok druhej. Tréningový stroj s ôsmimi GPU potrebuje všetky štyri — a každá z nich chce iný disk. Otázka „koľko TB NVMe?“ nedáva zmysel, kým si nevyberiete vrstvu.

Úložisko modelov

Vrstva modelov drží Vašu knižnicu váh — každý variant Llama, Qwen, Mistral, Stable Diffusion, Flux či Whisper, ktorý budete niekedy chcieť načítať. Býva na nej aj operačný systém, obrazy kontajnerov, conda prostredia a binárky inferenčného servera. Pri väčšine zostáv sa toto všetko zlúči na systémový disk.

Dimenzovanie je funkciou toho, koľko modelov si držíte poruke. Pár príkladov pri bežných kvantizáciách:

• Llama 3 70B Q4: ~40 GB
• Llama 3 70B FP8: ~70 GB
• Qwen2.5-VL 72B Q4: ~45 GB plus pár GB na vizuálnu vetvu
• Mistral Large 2 (123B) Q4: ~70 GB
• Llama 4 Maverick MoE FP8: ~250 GB
• Skromná knižnica VLM (8 modelov, rôzne kvantizácie): 300 – 500 GB
• Výskumné laboratórium s 30 modelmi poruke: 2 – 4 TB

Prevažne čítanie. Model sa načíta raz pri štarte procesu a zvyšok dňa žije vo VRAM. Disk uvidí 40 GB sekvenčné čítanie pri štarte vLLM a potom väčšinou nečinnosť. Jediné 2 – 4 TB Gen4 NVMe — pokojne aj spotrebiteľský disk ako Samsung 990 PRO — to zvládne bez zadýchania. Plaťte za kapacitu, nie za priepustnosť.

Úložisko datasetov

Na vrstve datasetov sedia tréningové korpusy a materiál na doladenie. Práve túto vrstvu zákazníci chronicky poddimenzujú, pretože dataset, s ktorým pracujú dnes, sa im tam zmestí — a zabudnú, že ten ďalší už nie.

Realistické rozsahy:

• Korpus na LoRA doladenie v jednej doméne: 10 – 100 GB
• Multimodálna sada na doladenie (obrázky + text): 1 – 10 TB
• Textový korpus v predtréningovom meradle (podmnožina FineWeb a pod.): 5 – 50 TB
• Video predtréning alebo sada robotických demonštrácií: 20 – 200 TB
• Genomický, vedecký alebo stiahnutý webový archív: 100 TB – 1 PB a viac

Prístupový vzor je sekvenčné čítanie, opakované naprieč epochami a naprieč mnohými paralelnými DataLoader workermi. Citlivé na priepustnosť (lebo GPU čaká), tolerantné k latencii. Po nahratí dát je rýchlosť zápisu v podstate nulová.

Pri datasetoch nad ~10 TB správna odpoveď zvyčajne vedie von zo šasi — pozrite si K04 pre vzory s NFS, BeeGFS a objektovými úložiskami. Vnútri šasi je rozumná vrstva datasetov z HDD v RAIDZ2 (lacné, veľké, pomalé, ale po zohriatí page cache dostatočné) alebo strednotriedny U.2 NVMe RAID, zhruba do 50 TB.

Scratch

Scratch je nedocenený hrdina. Pohltí všetko, čo sa inam nezmestí: dekódované obrazové shardy, medzivýsledky aktivácií odložené cez ZeRO-Offload, cache datasetov vytvorené cez webdataset/DALI, dočasné premiešania datasetov, artefakty z buildov kontajnerov aj výpis spadnutého behu. Zároveň veľa čítania aj veľa zápisu.

Dimenzovanie: 2 – 8 TB je ideálne pásmo. Pod 2 TB ju zaplní jediné doladenie. Nad 8 TB už zvyčajne staviate malú vrstvu datasetov a voláte to scratch — čo je v poriadku, len si to priznajte.

Výdrž tu hrá rolu, akú na ostatných vrstvách nemá. Scratch požiera zápisy — 5 – 20 TB zapísaných denne nie je na vyťaženom tréningovom stroji nič nezvyčajné. Enterprise disk s 1 DWPD a kapacitou 4 TB dovolí zapísať 4 TB denne po dobu piatich rokov; seriózny tréningový scratch chce 1 – 3 DWPD, teda triedu mixed-use.

Checkpointy

Na vrstvu checkpointov dopadá stav tréningu. Nárazovo: desať minút ticho, potom 50 – 500 GB zapísaných za pár sekúnd a zase ticho.

Checkpoint 70B modelu v FP16 má ~140 GB samotných váh. Pri FSDP posunú gradienty a stav optimalizátora stopu jedného checkpointu na 400 – 700 GB. Pri DeepSpeed ZeRO-3 a plnom stave optimalizátora (Adam: 8 bajtov na parameter pre master FP32 plus prvý a druhý moment) sa checkpoint 70B modelu môže priblížiť k 1 TB.

Trvalá rýchlosť zápisu jedného Gen5 NVMe je ~10 – 13 GB/s. Checkpoint s veľkosťou 700 GB sa zapíše zhruba za minútu, optimisticky — ak každý rank zapisuje na vlastný disk. Pri synchrónnom zápise je tréning tú minútu zablokovaný. Riešením je asynchrónne shardované checkpointovanie (viac nižšie).

NVMe Gen4 vs. Gen5 — kedy sa príplatok oplatí

Trh s NVMe v roku 2026 je rozdelený medzi vyzreté Gen4 (5 – 7 GB/s) a už mainstreamové Gen5 (12 – 14 GB/s). Na vrchole spotrebiteľskej ponuky sedí Samsung 9100 PRO so 14.8 GB/s sekvenčného čítania a 13.4 GB/s sekvenčného zápisu. Enterprise Gen5 je v rovnakej lige — Solidigm D7-PS1010 so 14.5 GB/s čítania, Micron 9550 MAX so 14 GB/s čítania, Kioxia CD8, SanDisk DC SN861 — všetky dodajú 13 – 14 GB/s čítania a 8 – 10 GB/s trvalého zápisu.

Cenový príplatok za Gen5 oproti Gen4 porovnateľnej kapacity je v polovici roku 2026 na spotrebiteľskom konci 30 – 50 % a na enterprise konci 20 – 35 %.

Kedy sa Gen5 naozaj vráti:

• Načítanie modelu zo studeného stavu. 250 GB MoE model sa na Gen5 načíta za 18 sekúnd oproti 36 sekundám na Gen4. Dôležité, ak modely striedate často.
• Tréning limitovaný I/O. Vizuálne pipeline dekódujúce surové JPEG z disku, multimodálne datasety, kde je úzkym hrdlom predspracovanie.
• Checkpoint na lokálne NVMe pred asynchrónnou kópiou. Čím rýchlejší lokálny zápis, tým skôr tréning pokračuje.
• Klastrový úložný server pre 8 a viac tréningových uzlov. Súhrnný dopyt klientov prekročí strop Gen4.

Kedy Gen4 stačí a Gen5 je vyhodený peniaz:

• Inferenčné servery. Model sa načíta raz pri štarte; zvyšok dňa je disk na jednotkách MB/s.
• Systémový disk a úložisko kontajnerov. Štart raz za mesiac, občasná inštalácia balíkov.
• Vrstva datasetov s predpripravenými veľkými shardmi. PyTorch DataLoader s 8 workermi čítajúci WebDataset shardy sa nasýti zhruba pri 4 – 6 GB/s súhrnne; Gen4 to pokryje.

Úprimná verzia: zhruba 70 % zostáv, ktoré zákazníkom expedujeme, je čistá inferencia — a tam je Gen4 NVMe naprieč celou zostavou správna voľba. Gen5 je rozhodnutie pre tréningovú vrstvu.

Formáty — M.2, U.2/U.3, E3.S

M.2 Gen5 bude podtaktúvať. Samsung 9100 PRO 2 TB držaný na 13 GB/s v horúcom šasi dosiahne 75 °C a stiahne výkon. Modely s chladičom pomôžu. M.2 je v poriadku pre systémový disk a mierne workloady; nie je to správny formát pre scratch vrstvu s trvalým zápisom.

U.2 je ťahúň. Každý enterprise NVMe disk, ktorý Kentino dodáva v šasi Bone64c alebo Supermicro, je U.2 a je takmer bez výnimky zameniteľný s U.3 backplanmi. Tepelná obálka 25 W, dvojportové pre multipath, hot-swap, kapacity 7.68 TB a 15.36 TB sedia v ideálnom pomere ceny a hustoty.

E3.S je budúcnosť, ale pomalá. Navrhnutý od základu pre tepelné nároky Gen5/Gen6. Pre jednoserverovú alebo malú klastrovú zostavu Kentino zostáva U.2/U.3 praktickou voľbou počas celého roku 2026; E3.S prichádza do hry pri obnove v roku 2027.

Vyhnite sa stohovaniu M.2 nosičov v horúcom šasi. PCIe karty, ktoré nesú štyri M.2 disky za prepínacím čipom, fungujú — ale v 4U serveri s ôsmimi GPU je prúdenie vzduchu nad týmito nosičmi zlé. Tepelné podtaktovanie vidíme do desiatich minút trvalej záťaže. Ak potrebujete v serveri štyri NVMe, použite U.2.

Výdrž — DWPD ako nákupný signál

Pre AI server je priradenie priamočiare:

• Vrstva modelov: read-intensive, 0.3 – 1 DWPD.
• Vrstva datasetov: read-intensive, 0.3 – 1 DWPD.
• Vrstva scratch: mixed-use, 1 – 3 DWPD. Práve táto vrstva si rozpočet na výdrž zaslúži.
• Vrstva checkpointov: mixed-use, 1 – 3 DWPD. Nárazové zápisy sa sčítajú; 1 DWPD na 4 TB disku dovolí len 4 TB denne, čo ťažká tréningová kadencia prekročí.

Write-intensive (3+ DWPD) je pre takmer každý AI workload zbytočný luxus. Zlá voľba triedy výdrže sa dá napraviť výmenou disku; zlá voľba triedy priepustnosti často nie. Priepustnosť nastavte správne pri stavbe, výdrž berte ako niečo, čo sa dá dokúpiť.

RAID pre NVMe — hardvér je mŕtvy, odpoveďou je softvér

Táto téma si zaslúži vlastnú podkapitolu, pretože zákazníci sa stále pýtajú. Skrátene: ak má Vaša zostava v roku 2026 pred NVMe diskami hardvérový RAID radič, je zle nakonfigurovaná.

Hardvérové RAID radiče (LSI/Broadcom MegaRAID, Microchip SmartRAID, HPE Smart Array, Dell PERC) vznikli pre SAS/SATA. Radičový ASIC rieši paritu, cache a radenie príkazov a pri šírke pásma SAS (12 Gbit/s = 1.5 GB/s) má bohatú rezervu.

NVMe Gen5 so 14 GB/s na disk nasýti jednokartový RAID radič už po dvoch diskoch. Osem diskov za hardvérovou RAID kartou vyprodukuje viac šírky pásma, než dokáže preniesť PCIe uplink tej karty. Radič sa stane úzkym hrdlom a vzápätí bodom zlyhania.

Praktické odpovede sú softvérové:

• mdadm (linuxový softvérový RAID). Vyzretý, priamo v jadre, dobre zvláda RAID0/1/10. RAID5/6 na NVMe funguje, ale výpočet parity žerie CPU. Pre 4 NVMe v zrkadle alebo stripe: ideálne.
• ZFS RAIDZ2. Lepší prístup k integrite (kontrolné súčty od konca po koniec), lepšie nástroje na scrub a výmenu diskov, sémantika snímok a klonov. Náročnejší na CPU než mdadm. Správna voľba pre archívnu a datasetovú vrstvu, kde je integrita dát dôležitejšia než maximálna priepustnosť.
• Replikácia alebo erasure coding na úrovni aplikácie. Pri veľmi veľkých poliach presunú MinIO/Ceph EC alebo stripovanie BeeGFS rozhodnutie o redundancii úplne mimo blokovú vrstvu.

Pre väčšinu zostáv Kentino:

• Systémový disk: 2× M.2 NVMe v mdadm RAID1.
• Scratch: RAID0 cez 2 – 4 NVMe (dáta sa dajú znovu vyrobiť).
• Datasety/checkpointy: RAID10 v mdadm alebo RAIDZ2 v ZFS.

Hardvérový RAID má v AI serveri presne jedno zostávajúce opodstatnenie: malé zrkadlo systémových diskov za jednoduchou kartou Broadcom/MegaRAID na serveri, kde naozaj chcete redundanciu bootovateľnú ešte pred štartom OS. Aj tam však mdadm RAID1 s EFI na oboch diskoch funguje bez problémov.

Sieťové úložisko pre vrstvu datasetov

Zhrnutie: nad 10 TB patrí vrstva datasetov takmer vždy mimo AI servera. Vnútri šasi chcete rýchly scratch, rýchle checkpointy a úložisko modelov; dataset môže byť vzdialený.

Ako PyTorch v skutočnosti načítava dáta

Užitočnou pomôckou pri dimenzovaní úložiska je sledovať, čo robí DataLoader v PyTorchi. Pri num_workers=8 a pin_memory=True:

1. Osem worker procesov paralelne otvorí súbory datasetu.
2. Každý worker vzorku prečíta, dekóduje (JPEG, snímky videa, prevzorkovanie zvuku) a prevedie na tenzor.
3. Dekódovaný tenzor sa uloží do zdieľanej pamäte.
4. Hlavný proces si ho vyberie zo zdieľaného frontu, pripne do hostiteľskej RAM a cez DMA skopíruje na GPU.

Praktické dôsledky:

• Vizuálne pipeline je len zriedka limitované úložiskom — iba ak je dataset taký veľký, že page cache neudrží pracovnú množinu.
• Predtréningové pipeline pre LLM čítajúce predtokenizované shardy býva na Gen4 limitované úložiskom. Gen5 pomôže. Rovnako pomôže presunúť aktívnu sadu shardov na lokálne NVMe namiesto NFS.
• Inferencia nie je úložiskom limitovaná prakticky nikdy — po načítaní modelu. Ukazovateľ aktivity disku je na obslužnom stroji plochý.

Checkpointový zlom

Checkpoint 70B modelu v FP16 má 140 GB váh. Pripočítajte stav optimalizátora Adam (~8 bajtov na parameter pre FP32 master plus prvý a druhý moment): ďalších ~560 GB. Pripočítajte gradienty, ak snímate uprostred kroku: ďalších ~140 GB. „Kompletný“ checkpoint 70B modelu môže podľa toho, čo všetko ukladáte, dosiahnuť 800 GB až 1 TB.

Synchrónny checkpoint, pri ktorom jeden rank zapisuje všetko na jediné Gen5 NVMe s trvalým zápisom 13 GB/s: ~75 sekúnd na 1 TB checkpoint. Tréning je celý ten čas zablokovaný. Ak to robíte každých 100 krokov a jeden krok trvá 5 sekúnd, práve ste tréning spomalili o 15 %.

Dve opravy, obe nevyhnutné:

1. Shardované checkpointovanie. Každý FSDP rank zapisuje vlastný shard na vlastné lokálne NVMe. Pri 8 GPU a 8 lokálnych diskoch je zápis na rank 125 GB a zápisy prebiehajú paralelne. Reálny čas klesne na ~10 sekúnd.

2. Asynchrónne checkpointovanie. PyTorch DCP (torch.distributed.checkpoint) presunie zápis na vlákno CPU. GPU sa krátko zastaví na kopírovaní z GPU na CPU (pár sekúnd), potom tréning pokračuje a samotný zápis na úložisko beží na pozadí.

Kombinácia — asynchrónne a shardované — zmení checkpointové úložisko z „musí pohltiť 1 TB za pár sekúnd“ na „musí stíhať ustálené kopírovanie na pozadí v rádoch stoviek MB/s“. To zvládne takmer každá vrstva úložiska. Chyba, ktorej sa treba vyhnúť: synchrónne checkpointy s plným stavom na každom ranku zapisované rovno na NFS. V roku 2022 to bolo bežné. V roku 2026 je to hazard.

Konkrétne rozloženia úložiska Kentino AI

Inferenčný server so 4 GPU (napr. Kentino AI 192 Genoa, 4× RTX 5090 alebo 4× RTX Pro 6000 Blackwell):

Systém + modely: 1× 2 TB Gen5 M.2 NVMe (spotrebiteľský alebo enterprise read-intensive)
Scratch:         voliteľný, pri čistej inferencii často zbytočný
Datasety:        na stroji netreba
Checkpointy:     na stroji netreba

Spolu: 2 TB NVMe. Cena: nízka. Postačuje na akýkoľvek inferenčný workload.

Tréningový server s 8 GPU (napr. Kentino AI 256 Turin Dual, 8× RTX 5090 alebo 8× RTX Pro 6000):

Systém:          2× 480 GB M.2 NVMe, mdadm RAID1, ext4 → /
Úložisko modelov:2× 4 TB U.2 Gen5 NVMe, mdadm RAID1, ext4 → /models
Scratch:         2× 8 TB U.2 Gen5 NVMe, mdadm RAID0, XFS → /scratch
Checkpointy:     2× 8 TB U.2 Gen5 NVMe, mdadm RAID10, XFS → /checkpoints
Datasety:        NFS pripojenie z externého úložného servera, 100 GbE

Lokálne NVMe spolu: ~36 TB. Cena: citeľná, ale úmerná investícii do GPU.

Zdieľaný úložný uzol klastra (oddelený od výpočtových uzlov):

Systém:          2× 960 GB M.2 NVMe, RAID1, ext4
Horúca vrstva:   12× 7.68 TB U.2 Gen5 NVMe, ZFS RAIDZ2 alebo úložný cieľ BeeGFS, XFS
Studená vrstva:  8× 16 TB SAS HDD, ZFS RAIDZ2 → /archive
Sieť:            2× 100 GbE, s podporou RoCE alebo NVMe-oF

Obsluhuje datasetovú vrstvu celého klastra. Voľbu distribuovaného FS rieši K04.

Všimnite si dve veci. Inferenčný server má jediný disk. Tréningový server má štyri vrstvy, ale každý disk je dimenzovaný podľa svojej roly, nie predimenzovaný na najväčší dostupný. Úložný uzol klastra je samostatný stroj.

Úprimne — väčšina zákazníkov úložisko predimenzuje

Vzor, ktorý vidíme dosť často na to, aby sme ho pomenovali: zákazník stavia server s 8 GPU „do budúcnosti“, naženie doň osem 15.36 TB U.2 NVMe diskov, lebo sloty tam sú, a potom na ňom beží inferenčný workload, ktorý sa dotkne možno 200 GB súborov modelov a zvyšok poľa naveky leží ladom. 25 000 € v NVMe, ktoré chladnú.

Úprimné pravidlá dimenzovania:

• Čistá inferencia, jeden server: 2 – 4 TB NVMe celkovo. Jeden disk. Hotovo.
• Inferencia plus občasné doladenie: 4 – 8 TB celkovo. Systémový disk + scratch.
• Seriózny tréning, jeden server: 16 – 40 TB rozdelených medzi systém/modely/scratch/checkpointy, s datasetom externe na NAS alebo v objektovom úložisku.
• Klaster: datasety a checkpointy sa presunú na zdieľané úložisko; lokálne NVMe na uzol sa vráti na inferenčný profil (2 – 8 TB) pre systém, modely a odkladací scratch.

Úložisko je jediné miesto v AI zostave, kde je inštinkt „viac je vždy lepšie“ dlhodobo nesprávny. Prínos GPU rastie s cenou zhruba lineárne, RAM rozumne — úložisko často nerastie vôbec, len čo ho máte dosť.

Čo sa pokazí

Poruchové scenáre, ktoré vidíme v teréne, zoradené podľa početnosti:

• Systémový disk je spotrebiteľské M.2 bez redundancie. Disk zlyhá po 18 mesiacoch, server nenaštartuje, modely sú v bezpečí na RAID poli, ale obnova zaberie deň. Riešenie: 2× M.2 v mdadm RAID1, a to aj na inferenčných strojoch.
• Scratch sa zaplní uprostred behu. Cache datasetu, dekódované shardy a dočasné súbory frameworku sa spoja. Riešenie: monitorovať, alarm pri 80 % zaplnení, dimenzovať na 1.5-násobok najväčšej očakávanej pracovnej množiny.
• Hardvérová RAID karta pred NVMe. Výkon je polovičný oproti očakávaniu, radič je jediným bodom zlyhania a jeho náhrada je exotická. Riešenie: kartu vyhodiť, mdadm alebo ZFS priamo.
• Synchrónny checkpoint na NFS, tréning stojí. Riešenie: asynchrónny shardovaný checkpoint, najprv na lokálne NVMe a potom asynchrónna kópia.
• Tepelné podtaktovanie Gen5 M.2. Disk s papierovými 14 GB/s dáva po 3 minútach trvalého zápisu 4 GB/s. Riešenie: chladič, lepšie prúdenie vzduchu alebo prechod na U.2.
• Dataset na datasetovej vrstve nasýti Gen4. Vizuálne tréningové pipeline je z 30 % limitované úložiskom. Riešenie: Gen5 scratch, predbežné dekódovanie do WebDataset alebo oboje.
• ZFS ARC zožerie RAM určenú na tréning. Predvolená alokácia 50 % zhodí tréningový proces na nedostatok pamäte. Riešenie: obmedziť zfs_arc_max na 10 – 20 % RAM. Pozri L04.

---

Toto je súčasť Kentino Wiki, referenčnej série o AI výpočtoch, robotike a systémoch, ktoré ich spájajú. Komentáre a opravy uvítame na info@kentino.com.