Postavili jsme AI server s 576 GB, který rozběhne GLM 5.2 u Vás v budově

AI server Kentino pro provoz on-premise ukrývá šest karet NVIDIA RTX PRO 6000 Blackwell Max-Q, dvojici procesorů EPYC a takovou redundanci, že přežije i vytažený zdroj za provozu — modely nejvyšší třídy tak běží u Vás, ne v cizím cloudu.

One Miners zná každý. Teď Vám představujeme Kentino.

Pokud se v našem oboru pohybujete delší dobu, One Miners znáte. Kentino je jeho sesterská firma. A Kentino staví stroje: AI servery, workstationy, herní PC — v podstatě cokoli, co odpovídá specifikaci, kterou máte v hlavě.

Tento článek je o jednom takovém stroji. Sestavili jsme ho pro zákazníka, takže neprozradíme, komu putuje. Co ale můžeme udělat, je sundat kryt a ukázat Vám přesně, co se do on-premise AI serveru dostane, když přestanete dělat kompromisy.

Myšlenka: AI třídy Claude, která nikdy neopustí budovu

Smysl tohoto stroje je prostý. Získáte asistenta ve stejné třídě jako Claude Opus nebo GPT — a běží u Vás. Ve Vaší kanceláři, ve Vaší serverovně, případně doma, pokud pracujete odtamtud. Každý prompt, každý dokument i každý řádek kódu, který do něj vložíte, zůstává uvnitř Vaší sítě.

Nabídka zní takto: žádná faktura za tokeny rostoucí s tím, jak užitečným se nástroj stává, žádná fronta za jinými zákazníky a žádná třetí strana, která drží Váš kontext. Hardware je Váš, takže workload patří Vám.

Uvnitř: šest profesionálních GPU, každé s 96 GB

Po otevření skříně Vás jako první zaujme stěna z GPU — tři karty na jedné straně, tři na druhé. Každá z nich je NVIDIA RTX PRO 6000 Blackwell Max-Q s 96 GB VRAM. Šest karet, dohromady zhruba 576 GB grafické paměti v jediné skříni.

Tato konfigurace jich má šest, ale skříň plná není. Pojme až osm karet, takže zbývá prostor na pozdější rozšíření, nebo na úplně jiné využití slotů, například na optickou síť. Za deskou s GPU sedí dva procesory AMD EPYC 7643, které je krmí daty.

Na nenápadných součástkách záleží nejvíc

Takový stroj stojí a padá na nudných parametrech. Paměť: 512 GB DDR4 osazených jako 8x 64GB LRDIMM, rozšiřitelných na 1.5 TB, až si to workload vyžádá. Úložiště: systémový disk 2 TB plus 4 TB NVMe, protože váhy modelu se musí z disku načítat rychle.

O napájení se stará pět redundantních zdrojů po 2000 W. Vytáhněte jeden uprostřed výpočtu a server běží dál — dá Vám hlasitě najevo svou nelibost, ale běží dál. Chlazení obstarává dvanáct vysokotlakých ventilátorů s 15,000 RPM, vyměnitelných za provozu a uspořádaných do řad napříč skříní. Vadný ventilátor můžete vyrvat i při plné zátěži, nasadit nový, zavřít skříň a odejít. Pár vteřin to na Vás bude ječet. To je celý servisní postup.

Základní deska nabízí dedikovanou vzdálenou správu, dvě 10gigabitové LAN, integrovanou VGA pro terminál, USB 3.2 a hlavní i záložní tlačítko napájení, abyste kvůli restartu nemuseli nic vytahovat z racku.

Provoz GLM 5.2 lokálně

Hlavním workloadem je GLM 5.2 v Q4 — zhruba 341 GB vah modelu rozložených přes šest GPU. To je opravdu velký model a žije ve Vaší budově. Běží tu i další otevřené modely; VRAM je dost na to, abyste jich měli načteno několik nebo mezi nimi přepínali.

Studený start není okamžitý a raději Vám to řekneme dopředu, než abyste na to přišli sami. Než BIOS projde takové množství hardwaru, než Linux nastartuje velmi rozsáhlý strom zařízení a než se 341 GB přelije z SSD do VRAM, čekáte na první token řádově minuty. Jakmile je stroj zahřátý, žádné jediné číslo propustnosti neexistuje a kdo Vám ho nabízí, obchází otázku. Záleží na třech věcech: kolik požadavků běží souběžně, jestli je zapnuté spekulativní dekódování a jestli se model vejde na jednu kartu.

Pro GLM 5.2 rozložený přes všech šest GPU: čisté dekódování jednoho požadavku bez spekulativního dekódování vychází zhruba na 25–40 tokenů/s — tak to vychází z matematiky a takové číslo uvádíme i na veřejné produktové stránce. Zapněte spekulativní dekódování, stále jeden požadavek, a jste na 40–60. V tomto režimu běží i video, proto záznam ukazuje přibližně 42 tokenů/s. Přidejte ke spekulativnímu dekódování souběžnost a stejná skříň zvládne 60–120.

To všechno jsou čísla pro velký model, kde je 341 GB rozprostřeno přes šest karet. Přejděte k modelu, který se vejde do jediné 96GB GPU, a jste v řádu tisíců tokenů za sekundu v součtu, protože místo jedné rozdělené instance běží šest nezávislých. Stejný hardware, rozdíl o celý řád — a přesně proto je jedno souhrnné číslo bezcenné.

Kromě chatu a kódu je stejný křemík i poctivým strojem na generování obrázků a zvládne i práci s videem. Praktický rozdíl oproti cloudovému endpointu není jen v rychlosti — hlavně před Vámi nikdo nestojí ve frontě.

Proč Max-Q a co ten kompromis skutečně stojí

Jeden detail si zaslouží upřímnost: jde o varianty Max-Q karty RTX PRO 6000. Max-Q běží na příkonu 300 W. Verze bez Max-Q je 600W karta, kterou lze v ovladači omezit zhruba na 400 W.

Max-Q vyměňuje kousek cache na čipu za výrazně nižší odběr. V šestikartové skříni je právě tento kompromis důvodem, proč teplotní a energetický rozpočet vůbec vychází. Je to rozhodnutí, které uděláte jednou při stavbě a pak s ním spokojeně žijete — pokud jste si byli vědomi, že ho děláte.

Co chystáme dál — a jak takový stroj získat

Při natáčení leželo na stole ještě pár věcí, které k tomuto serveru nepatří. RTX 4090 a NVIDIA CMP 170HX — těžební karta z éry Etherea, u nás v nabídce za 1,600 €. Tato karta dostane pořádnou recenzi a pořádné testování v příštím videu, takže ji tady nebudeme vysvětlovat jen napůl.

Zároveň připravujeme skutečnou benchmarkovou tabulku napříč několika otevřenými modely. Čísla, metodika, žádné mlžení. I to bude příště.

Pokud chcete stroj jako tenhle — nebo jeho menší verzi, workstation či herní sestavu — přesně tím se Kentino zabývá. Prohlédněte si kolekci AI serverů, nebo nám napište, co potřebujete, a navrhneme Vám specifikaci.