Inferenčný AI server 70B L40
Platforma na podnikovej úrovni, zostavená a otestovaná v EÚ.
Táto produktová stránka je ponechaná len na referenčné účely.
Tento server bol nahradený novým produktovým radom Kentino AI. Aktuálny ekvivalent alebo vylepšenú konfiguráciu nájdete v našej kolekcii AI serverov.
Odporúčaná náhrada: Kentino AI 192 Rome L40 1448TOPS (4x NVIDIA L40, rovnaká platforma, aktualizovaná zostava)
Počítač 70B L40
Špecifikácie
- GPU: 6x NVIDIA L40 (spolu 288 GB VRAM)
- Základná doska: ASRock Rack ROMED8-2T
- CPU: AMD EPYC 7542
- RAM: 512GB SK Hynix 2666MHz REG ECC DDR4 LRDIMM (8 x 64GB)
- Prepojenie GPU a základnej dosky: kábel RYSER PCIe 4.0 x16
- Zdroj: 2x AX1600i 1000W
- Skriňa: 4U do racku
-
Úložisko:
- 2TB NVMe SSD
- 500GB SATA disk
Kľúčové vlastnosti
- Vysoký výpočtový výkon GPU: 6 grafických kariet NVIDIA L40 poskytuje spolu 288 GB VRAM pre náročné AI workloady, strojové učenie a vizualizáciu.
- Komponenty serverovej triedy: spoľahlivá základná doska ASRock Rack ROMED8-2T a výkonný procesor AMD EPYC 7542 zaručujú mimoriadny výpočtový výkon.
- Dostatok pamäte: 512GB rýchlej pamäte SK Hynix DDR4 zabezpečuje plynulý multitasking a efektívne spracovanie dát pri zložitých výpočtoch.
- Rýchle prepojenie GPU: kábel RYSER PCIe 4.0 x16 zabezpečuje rýchle prepojenie grafických kariet so základnou doskou v plnej šírke pásma, a tým optimálny výkon aj rýchlosť prenosu dát.
- Robustné napájanie: dvojica jednotiek AX1600i 1000W dodáva stabilný a dostatočný výkon pre vysokovýkonné komponenty aj pri plnej záťaži.
- Rozšíriteľné úložisko: v základe rýchly 2TB NVMe SSD ako hlavné úložisko a navyše 500GB SATA disk pre ďalšiu kapacitu.
- Chladenie profesionálnej triedy: priestranná racková skriňa 24U zabezpečuje optimálne prúdenie vzduchu a tepelný manažment pri dlhodobej plnej záťaži.
- Univerzálna konfigurácia: navrhnuté pre široké spektrum vysokovýkonných výpočtových úloh, od AI a strojového učenia až po profesionálnu vizualizáciu a rendering.
Ideálne využitie
- Inferencia veľkých jazykových modelov (napr. modely so 70B parametrami)
- Výskum v oblasti AI a strojového učenia
- Dátová analytika a vizualizácia
- Profesionálny 3D rendering a animácia
- Vedecké simulácie
- Aplikácie vysokovýkonných výpočtov (HPC)
- Počítačové videnie a spracovanie obrazu
- Finančné modelovanie a analýza rizík
Dôležité poznámky
- Optimalizované pre modely 70B: s celkovými 288 GB VRAM je tento systém navrhnutý špeciálne na prácu s veľkými jazykovými modelmi až do 70 miliárd parametrov, čo z neho robí ideálny nástroj pre špičkový AI výskum a aplikácie.
- Výhoda NVIDIA L40: karty L40 ponúkajú vyvážený pomer výpočtového výkonu a pamäte, vhodný pre široké spektrum AI, HPC aj profesionálnych vizualizačných workloadov.
- Výkon PCIe 4.0: kábel RYSER PCIe 4.0 x16 zaručuje, že každá grafická karta pracuje v plnej šírke pásma, čím maximalizuje priepustnosť dát a minimalizuje latenciu.
- Škálovateľný návrh: hoci je systém optimalizovaný pre modely so 70B parametrami, dá sa jednoducho rozšíriť alebo zapojiť do klastra pre ešte väčšie workloady či viacpoužívateľské prostredia.
Počítač 70B L40 predstavuje výkonné a univerzálne riešenie pre organizácie a výskumníkov, ktorí pracujú s veľkými AI modelmi, najmä v oblasti spracovania a generovania prirodzeného jazyka. Vyvážená kombinácia grafických kariet NVIDIA L40, procesora AMD EPYC a rýchlej pamäte ho robí vhodným pre široké spektrum vysokovýkonných výpočtových úloh aj mimo AI, vrátane vedeckých simulácií, dátovej analytiky a profesionálnej vizualizácie.
Dodanie 2 – 6 týždňov
Otázky, ktoré nám kupujúci kladú najčastejšie pred objednaním servera.
Ako dlho to trvá?
Stroje postavené z komponentov, ktoré máme na sklade, expedujeme rýchlo; čokoľvek, čo si vyžaduje konkrétnu generáciu GPU, závisí od dostupnosti. Termín Vám oznámime ešte pred platbou, a ak sa posunie, povieme Vám to sami – nenecháme Vás, aby ste na to prišli.
Dá sa konfigurácia pred stavbou ešte zmeniť?
Takmer vždy. GPU, pamäť, úložisko aj chladenie vyberáme podľa konkrétnej objednávky a uvedená konfigurácia je skôr východiskovým bodom než pevným balíkom. Ak potrebujete viac VRAM, rýchlejšie úložisko alebo iný spôsob chladenia, povedzte nám to pred objednaním a zmenu Vám naceníme.
Môžem si server vyzdvihnúť osobne?
Môžete. Náš sklad je v Prahe a osobný odber je vítaný — väčšina ľudí, ktorí prídu, využije návštevu na to, aby si stroj prešla s naším technikom a opýtala sa na veci, ktoré sa cez e-mail riešia ťažko. Pri objednávkach v rámci Českej republiky sa snažíme doručovať aj osobne a uvedenie do prevádzky s Vami prejsť priamo na mieste.
Môžem hovoriť s niekým, kto naozaj rozumie workloadu?
Áno. Máme inžiniera, ktorý sa venuje priamo AI systémom, nie všeobecné obchodné oddelenie. Ak sa pýtate na veľkosti batchov, kvantizáciu, prepojenie alebo na to, kde bude Vaše úzke miesto, pýtajte sa — taký rozhovor zvyčajne zmení konfiguráciu k lepšiemu.
Aký model môžem na tejto konfigurácii spustiť?
Áno. Každý stroj je zostavený, prejde záťažovým testom a benchmarkmi na reálnych AI workloadoch ešte pred expedíciou a odchádza od nás s už nainštalovaným a bežiacim LLM. Stačí ho zapojiť, pripojiť do siete a pustiť sa do práce — jediné, o čom ešte rozhodnete, je, ktorý projekt na ňom pobeží ako prvý.
Ako testujete server pred odoslaním?
Testujeme ho na reálnych AI workloadoch, nie na syntetických skóre: priepustnosť inferencie, správanie pri trvalej záťaži a teploty pri nepretržitej prevádzke. Výsledky benchmarkov dostanete spolu so strojom, takže výkon, ktorý sme vám sľúbili, si môžete overiť hneď v prvý deň.
Je server po doručení pripravený na prevádzku?
Áno. Každý stroj je zostavený, prejde záťažovým testom a benchmarkmi na reálnych AI workloadoch ešte pred expedíciou a odchádza od nás s už nainštalovaným a bežiacim LLM. Stačí ho zapojiť, pripojiť do siete a pustiť sa do práce — jediné, o čom ešte rozhodnete, je, ktorý projekt na ňom pobeží ako prvý.
Expedujeme z nášho skladu v EÚ. Pri ťažkých položkách môže byť potrebná prepravná zásielka — kontaktujte nás pre cenovú ponuku dopravy a dodaciu lehotu. 2-ročná obmedzená záruka s rozšírenou RMA podporou; k dispozícii je predĺžená záruka.
Nie je to presne to, čo potrebujete?
Povedzte nám, aký workload prevádzkujete, a my okolo neho navrhneme túto platformu — GPU, pamäť, úložisko aj chladenie presne na mieru.