Postavili sme 576 GB AI server, ktorý beží GLM 5.2 priamo u Vás v budove
Zdieľať
AI server Kentino pre vlastnú prevádzku ukrýva šesť kariet NVIDIA RTX PRO 6000 Blackwell Max-Q, dva procesory EPYC a dosť redundancie na to, aby prežil vytiahnutie zdroja za chodu — takže modely špičkovej triedy bežia u Vás, nie v cudzom cloude.
One Miners pozná každý. Zoznámte sa s Kentinom.
Ak sa v našom svete pohybujete dlhšie, One Miners poznáte. Kentino je sesterská spoločnosť a Kentino stavia stroje: AI servery, workstationy, herné PC — viac-menej čokoľvek, čo zodpovedá špecifikácii, ktorú máte v hlave.
Tento článok je o jednej z takých zostáv. Je to systém, ktorý sme postavili pre zákazníka, takže neprezradíme, komu patrí. Čo však môžeme urobiť, je otvoriť veko a ukázať Vám presne to, čo sa do AI servera pre vlastnú prevádzku zmestí, keď prestanete robiť kompromisy.
Ponuka: AI triedy Claude, ktorá nikdy neopustí budovu
Zmysel tohto stroja je jednoduchý. Získate asistenta v rovnakej triede ako Claude Opus či GPT — a beží u Vás. Vo Vašej kancelárii, vo Vašej serverovni, u Vás doma, ak pracujete odtiaľ. Každý prompt, každý dokument, každý riadok kódu, ktorý doň vložíte, zostáva vo Vašej vlastnej sieti.
To je tá dohoda: žiadna faktúra za tokeny, ktorá rastie s tým, ako užitočným sa nástroj stáva, žiadne čakanie v rade za inými nájomníkmi a žiadna tretia strana, ktorá drží Váš kontext. Hardvér je Váš, takže workload je Váš.
Vnútri: šesť profesionálnych GPU, každé so 96 GB
Keď otvoríte skriňu, prvé, čo uvidíte, je stena z GPU — tri karty na jednej strane, ďalšie tri na druhej. Každá je NVIDIA RTX PRO 6000 Blackwell Max-Q s 96 GB VRAM. Šesť kariet, zhruba 576 GB videopamäte v jedinej skrini.
Táto konfigurácia má šesť kariet, no skriňa nie je plná. Zvládne až osem kariet, takže zostáva priestor doplniť GPU neskôr alebo sloty využiť na niečo úplne iné, napríklad optickú sieť. Za doskou s GPU sedia dva procesory AMD EPYC 7643, ktoré ich kŕmia.
Rozhodujú práve tie neatraktívne časti
Stroj ako tento stojí a padá na nudných parametroch. Pamäť: 512 GB DDR4 osadených ako 8x 64 GB LRDIMM, rozšíriteľných na 1.5 TB, keď si to workload vyžiada. Úložisko: systémový disk 2 TB plus 4 TB NVMe, pretože váhy modelu sa musia z disku čítať rýchlo.
Napájanie tvorí päť redundantných zdrojov po 2000 W. Vytiahnite jeden počas behu a server pokračuje ďalej — dá Vám najavo svoju nevôľu, ale beží ďalej. Chladenie zabezpečuje dvanásť vysokotlakových ventilátorov s 15,000 RPM, vymeniteľných za chodu, usporiadaných v radoch naprieč skriňou. Mŕtvy ventilátor môžete vytrhnúť aj pod záťažou, zasunúť nový, zavrieť skriňu a odísť. Pár sekúnd na Vás bude revať. To je celý servisný postup.
Základná doska ponúka dedikovanú vzdialenú správu, dve 10gigabitové LAN, integrovanú VGA pre terminál, USB 3.2 a primárne aj sekundárne tlačidlo napájania, takže kvôli reštartu nemusíte nič vyberať z racku.
GLM 5.2 v lokálnej prevádzke
Hlavným workloadom je GLM 5.2 v Q4 — približne 341 GB váh modelu, rezidentne rozložených naprieč šiestimi GPU. To je naozaj veľký model a žije vo Vašej budove. Bežia tu aj ďalšie otvorené modely; VRAM je viac než dosť na to, aby ich bolo načítaných niekoľko naraz alebo ste medzi nimi prepínali.
Studený štart nie je okamžitý a radšej Vám to povieme vopred, než by ste na to prišli sami. Kým BIOS zinventarizuje toľko hardvéru, Linux nabehne s veľmi rozsiahlym stromom zariadení a potom sa 341 GB preleje z SSD do VRAM, čakáte na prvý token rádovo minúty. Keď je stroj zahriaty, neexistuje jediné číslo priepustnosti a každý, kto Vám jedno uvádza, otázku obchádza. Závisí od troch vecí: koľko požiadaviek beží súčasne, či je zapnuté špekulatívne dekódovanie a či sa model zmestí na jednu kartu.
Pre GLM 5.2 rozdelený na všetkých šesť GPU: čisté dekódovanie pri jednej požiadavke bez špekulatívneho dekódovania dáva zhruba 25–40 tokenov/s — to vychádza z výpočtu a je to údaj na našej verejnej produktovej stránke. Zapnite špekulatívne dekódovanie, stále pri jednej požiadavke naraz, a ste na 40–60. To je režim z videa, a preto beh pred kamerou pristane na približne 42 tokenoch/s. Pridajte k špekulatívnemu dekódovaniu paralelné požiadavky a tá istá skriňa dá 60–120.
To všetko sú čísla pre veľký model, so 341 GB rozloženými na šiestich kartách. Prejdite na model, ktorý sa zmestí do jedinej 96 GB GPU, a súhrnne ste v tisícoch tokenov za sekundu, pretože bežíte šesť nezávislých inštancií namiesto jednej rozdelenej. Rovnaký hardvér, rozdiel o rád — a presne preto je jediné hlavné číslo bezvýznamné.
Okrem chatu a kódu je ten istý kremík aj seriózny stroj na generovanie obrázkov a zvládne i prácu s videom. Praktický rozdiel oproti cloudovému endpointu nie je len v rýchlosti — je v tom, že pred Vami nikto nestojí v rade.
Prečo Max-Q a čo tá voľba naozaj stojí
Jeden detail si zaslúži úprimnosť: ide o varianty Max-Q karty RTX PRO 6000. Max-Q beží na príkone 300 W. Verzia bez Max-Q je 600 W karta, ktorú môžete v ovládači obmedziť na približne 400 W.
Max-Q obetuje trochu cache na čipe za ten výrazne nižší odber. V šesťkartovej skrini je práve táto voľba dôvodom, prečo tepelný a výkonový rozpočet vôbec vychádza. Je to rozhodnutie, ktoré urobíte raz, pri stavbe, a potom s ním spokojne žijete — pokiaľ ste vedeli, že ho robíte.
Čo chystáme — a ako takýto stroj získať
Počas natáčania ležalo na stole aj pár vecí, ktoré k tomuto serveru nepatria. RTX 4090 a NVIDIA CMP 170HX — ťažobná karta z éry Etherea, na našom webe uvedená za 1,600 €. Tá karta dostane poriadnu recenziu a poriadne testovanie v ďalšom videu, takže ju tu nebudeme vysvetľovať polovičato.
Chystáme aj reálnu tabuľku benchmarkov naprieč viacerými otvorenými modelmi. Čísla, metodika, žiadne vyhováranie. To je tiež téma na nabudúce.
Ak chcete stroj ako tento — alebo jeho menšiu verziu, workstation či hernú zostavu — presne to Kentino robí. Prezrite si kolekciu AI serverov, alebo nám napíšte, čo potrebujete, a my Vám to navrhneme.