Kentino AI 192 RomeDual 4090 5288TOPS — 8× RTX 4090 — Dual EPYC Milan
Yritystason alusta, koottu ja testattu EU:ssa.
Kentino AI 192 RomeDual 4090 5288TOPS
192 GB VRAM:n 8-GPU-inferenssipalvelin
8x RTX 4090 | Kaksi EPYC Milan -suoritinta | 5 288 TOPS INT8
Lippulaivatason 8x pelinäytönohjaimen inferenssipalvelin. 192 GB:n pooli kuluttajakorttien hintatasolla kaksikantaisella EPYC Milan -alustalla.
7U:n 8-GPU-runko, jonka ytimenä ovat kaksi EPYC 7643 Milan -suoritinta (yhteensä 96C/192T), ASRock Rack ROME2D32GM-NL -emolevy (dual-SP3), 512 GB DDR4 ECC -muistia, 2 TB:n NVMe-käynnistyslevy ja 5x 1200 W:n palvelinvirtalähdesarja. Kahdeksan GeForce RTX 4090 -korttia liitetään aktiivisilla PCIe Gen4 -retimer-risereillä täydellä x16-kaistaleveydellä. Edullisin tie 192 GB:n huippuluokan MoE-inferenssiin Kentino-laitteistolla.
Laitteisto
| Komponentti | Tiedot |
|---|---|
| GPU:t | 8x NVIDIA GeForce RTX 4090 24 GB GDDR6X (Ada Lovelace, 450 W, PCIe 4.0 x16) |
| VRAM-pooli | Yhteensä 192 GB kahdeksalla kortilla (kuluttajamallin RTX 4090:ssä ei ole NVLinkiä) |
| Suoritin | 2x AMD EPYC 7643 Milan (48C/96T kukin — yhteensä 96C/192T, 225 W kukin, 2x 128 PCIe 4.0 -kaistaa) |
| Emolevy | ASRock Rack ROME2D32GM-NL (dual SP3, PCIe 4.0, 32x DDR4 ECC DIMM -paikkaa) |
| Keskusmuisti | 512 GB DDR4-2666 ECC RDIMM (8x 64 GB — 4 per kanta 8-kanavaisen tasapainon vuoksi) |
| Käynnistys / tallennus | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Virtalähde | 5x 1200 W:n palvelinvirtalähdesarja (HP-yhteensopiva, hot-swap) + täydellinen 12VHPWR-adapterisarja |
| Runko | 7U:n 8-GPU-runko (enintään 10 PCIe-korttia riserit mukaan lukien) |
| Riserit | 8x aktiivinen PCIe Gen4 x16 -retimer-riseri (välttämätön kaapelipituuden vuoksi) |
| Jäähdytys | 2x Arctic Freezer 4U-M SP3 -tornijäähdytin + räkkiasennuksen edestä taakse kulkeva ilmavirta (teollisuustuulettimet) |
| Verkko | Integroitu kaksois-10 GbE (Intel X550) |
Tehobudjetti
- GPU-kulutus: 8 x 450 W = 3 600 W
- CPU-kulutus: 2 x 225 W = 450 W
- Järjestelmä yhteensä täydellä kuormalla: ~4 200 W
- Virtalähteet yhteensä: 6 000 W kaikki aktiivisina (5x 1200 W) — 30.0 % varaa
Kaistatopologia
ROME2D32GM-NL tarjoaa 2x 128 PCIe Gen4 -kaistaa — yksi 128 kaistan pooli kutakin EPYC-kantaa kohden — suoraan GPU-paikkoihin. Aktiiviset Gen4-retimer-riserit signaalin eheyden takaamiseksi. Ei PCIe-kytkintä. Ei NVLinkiä. Mitattu GPU:iden välinen peer-to-peer-nopeus 19-22 GB/s 4-GPU-testialustalla.
Mitä sillä voi ajaa
192 GB:n muistilla kahdeksan kortin kesken tämä palvelin hoitaa 200B+ huippuluokan MoE-mallit Q4-tarkkuudella, 8-suuntaisen tensoririnnakkaisen inferenssin, käyttäjäkohtaisesti eristetyn monimallipalvelun ja suuren eräkoon läpäisyn kuluttajakorttien hintatasolla.
LLM:t — teksti / päättely / koodaus
Kiinalaiset huippumallit
- Qwen3 / Qwen3.5 (Alibaba): Qwen3-235B-A22B Q4 (~132 GB) pitkällä kontekstilla — pääkokoonpano (~15-25 tok/s yksittäisvirtana 8x RTX 4090:llä); Qwen3-Coder-480B-A35B Q2 (~160 GB); Qwen3.5-122B-A10B fp8 (~75 GB) monivirtana; Qwen3-32B dense bf16 x useita samanaikaisia
- DeepSeek: DeepSeek-V3/R1 Q2 (~215 GB, ylivuoto 512 GB:n isäntämuistiin); DeepSeek-R2 32B bf16 — jopa 8 samanaikaista virtaa, yksi per kortti (~30-40 tok/s per virta)
- GLM / Z.ai: GLM-4.5 / 4.6 / 4.7 Q4 (~177 GB); GLM-4.5-Air fp8 tai bf16; GLM-4.6V 106B
- Tencent Hunyuan: Hunyuan-Large Q3 (~160 GB); Hunyuan-A13B Q4/Q6 (RTX 4090 on Ada — fp8 muunnetaan bf16:ksi, käytä GGUF-kvantisointeja)
- Muut: Baidu ERNIE-4.5-424B Q3 (~180 GB); InternVL3.5-241B-A28B Q4 (~135 GB); Qwen3.5-397B Q3 (~170 GB); MiniMax-M1 Q3 (~180 GB)
Länsimaiset huippumallit
- Meta Llama: Llama 3.3 70B bf16 suurella KV-välimuistilla (~20 tok/s yksittäisvirtana Q4, ~179 tok/s batch-32 vLLM — Kentinon mittaus 4-GPU-testialustalla); Llama 4 Scout bf16 (~218 GB, tiukka); Llama 4 Maverick Q3 (~188 GB)
- Mistral: Mistral Large 2 / Pixtral Large 123B Q6 väljästi tai bf16 (~248 GB ylivuodolla); Mistral Small 3 monivirtana
- OpenAI (avoimet painot): gpt-oss-120b natiivi MXFP4 (80 GB) erittäin suurella KV-välimuistilla
- NVIDIA Nemotron: Llama-3.1-Nemotron Ultra 253B Q4 (~147 GB); Super 49B bf16
- Muut: Cohere Command R+ 104B Q6 (~85 GB); Google Gemma 3 27B bf16 x useita virtoja
Kuva-kielimallit
InternVL3.5-241B-A28B Q4 (~135 GB); Qwen3-VL-235B-A22B Q4; Qwen3-VL-32B bf16 monivirtana; Llama 3.2 90B Vision bf16 (~180 GB); Pixtral Large 124B Q6; Molmo 72B bf16; GLM-4.6V 106B fp8/Q6; Gemma 3 27B multimodaalinen x useita virtoja.
Kuvangenerointi
FLUX.1 [dev] bf16 — jopa 8 samanaikaista generointivirtaa (yksi per kortti, ~15-25 s/kuva fp8-tarkkuudella); FLUX.1 Kontext [dev]; FLUX Tools; SD 3.5 Large bf16 x 8; HunyuanImage-2.1 bf16 (~34 GB) x 2-4 samanaikaista; HunyuanImage-3.0 base (80B MoE, 13B aktiivista) bf16; HunyuanDiT; Kolors / Kolors 2.0; AuraFlow; OmniGen v1; PixArt-Sigma.
Videogenerointi
Wan 2.2 MoE dual-expert bf16 täydellä kontekstilla — useita samanaikaisia virtoja; Wan 2.2 TI2V-5B x 8 samanaikaista; HunyuanVideo 13B bf16 molemmat expertit; HunyuanVideo 1.5; CogVideoX-5B bf16; Open-Sora 2.0 11B bf16; Genmo Mochi-1 bf16; LTX-Video x 8 samanaikaista; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos.
Ääni / puhe / TTS
- ASR: Whisper v3 large / turbo x 8 samanaikaista (~50x reaaliaikaa per virta); Parakeet-TDT; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2/3; Kokoro 82M; XTTS v2; Stable Audio Open
- Reaaliaika / S2S: Kyutai Moshi 7B x 8 samanaikaista äänivirtaa; Step-Audio 2 mini/R1; Qwen2.5-Omni-7B
- Musiikki / äänitehosteet: MusicGen / AudioGen / Bark; SeamlessM4T v2
Monimalli- ja monikäyttäjäpalvelu
- 8-suuntainen tensoririnnakkainen inferenssi 200-250B MoE-malleille Q4-tarkkuudella (Qwen3-235B, GLM-4.5/4.6/4.7)
- Käyttäjäkohtaisesti eristetty 8 virran palvelu — yksi 24 GB:n Q4-malli per kortti (esim. 8x Qwen3-14B-agenttia)
- Suuren eräkoon 70B — tensoririnnakkainen vLLM / SGLang, batch-64 yhteensä
- Sekakokoonpano: 235B MoE neljällä kortilla (TP4) + FLUX + video + reaaliaikainen puhe neljällä muulla
- Hienosäätölaboratorio — 7-34B LoRA / QLoRA suurella eräkoolla
Kohdekuormitukset
- 8-GPU tensoririnnakkainen inferenssi 192 GB:n poolilla — Qwen3-235B Q4, GLM-4.5/4.6/4.7 Q4, Llama 4 Scout bf16
- Dense 70B bf16 (Llama 3.3 70B) runsaalla KV-varalla pitkään kontekstiin ja suureen eräkokoon
- Suuren läpäisyn eräinferenssiyhdyskäytävä — vLLM / SGLang tensoririnnakkaisesti suurella eräkoolla
- 7-34B-luokan mallien hienosäätö suuren eräkoon LoRA- / QLoRA-menetelmällä
- Täysi video- ja kuvastudion työnkulku: Wan 2.2 dual-expert / HunyuanImage-3.0 / FLUX.1
Mitattu suorituskyky
Kentino-testi (4-GPU-referenssi) | 2026-04-10 | 4x RTX 4090 + EPYC 7542 + 512 GB DDR4 + ROMED8-2T
| Testi | Tulos |
|---|---|
| Jatkuva laskentateho (fp16, 4 kortin referenssi) | 647 TFLOPS |
| vLLM — Llama 3.3 70B AWQ INT4 (yksittäinen) | 8.0 tok/s |
| vLLM — Llama 3.3 70B AWQ INT4 (batch-32) | 179 tok/s yhteensä |
| llama.cpp — Llama 3.3 70B Q4_K_M (yksittäinen) | 20.3 tok/s dekoodaus |
| 8-GPU:n yhteenlaskettu laskentateho (ekstrapolaatio) | ~1 294 TFLOPS fp16 odotettu (lähes lineaarinen) |
| 235B Q4 tensoririnnakkainen 8-suuntainen (yhteisö) | 15-25 tok/s yksittäisvirtana 8x RTX 4090:llä |
4 kortin tiedot mitattu Kentino-laitteistolla. 8-GPU-ekstrapolaatio perustuu julkaistuun ulkoiseen referenssiin. Kentino julkaisee omat 8-GPU-lukemat ensimmäisen asiakaskokoonpanon jälkeen.
Ei ihanteellinen
- 5090-sukupolven kuormitukset (Blackwellin natiivi fp8 + korkeammat TOPS-arvot) — katso Kentino AI 256 TurinDual 5090
- Koulutus alusta alkaen (kuluttajamallin RTX 4090:ssä ei ole NVLinkiä)
- ECC-kriittinen 24/7-tuotantokäyttö — kuluttajamallin RTX 4090:ssä ei ole ECC:tä; suosi 4x L40- tai 2x RTX Pro 6000 Server Edition -kokoonpanoa
- Hunyuan / DeepSeek natiivi fp8 — RTX 4090 on Ada, fp8-checkpointit muunnetaan bf16:ksi
Takuu ja toimitusaika
Kokoonpano sisältää asennuksen, BIOS-määritykset kaksikantaisella NUMA-optimoinnilla, ajurien asennuksen, burn-in-testauksen, muistitestin, täyden 8-GPU-kuormitustestin ja LLM-ympäristön käyttöönoton. Toimitusaika riippuu komponenttien saatavuudesta ja vahvistetaan tilauksen yhteydessä.
Suositellut lisävarusteet
- 4 TB lisä-NVMe painojen esilataukseen ja MoE-offload-kuormituksiin
- NVIDIA ConnectX-5 100 GbE monisolmupalveluun
- RAM-päivitys 1 TB:hen (16x 64 GB) tai 2 TB:hen (32x 64 GB) — emolevy tukee 32 DIMM-paikkaa
- Täysi 24U-räkkikaappi + online-UPS 5 kVA
Kysymykset, joita ostajat kysyvät meiltä useimmin ennen palvelimen tilaamista.
Kauanko se kestää?
Varastossa olevista komponenteista rakennetut koneet toimitetaan nopeasti; tiettyä GPU-sukupolvea vaativien koneiden toimitus riippuu saatavuudesta. Annamme päivämäärän ennen maksua, ja jos se muuttuu, kerromme siitä itse emmekä anna sen tulla yllätyksenä.
Voiko kokoonpanoa muuttaa ennen rakentamista?
Lähes aina. GPU:t, muisti, tallennustila ja jäähdytys valitaan tilauskohtaisesti, ja listattu kokoonpano on lähtökohta eikä kiinteä paketti. Jos tarvitaan enemmän VRAM:ia, nopeampaa tallennusta tai erilaista jäähdytysratkaisua, kerro siitä ennen tilausta, niin teemme muutoksesta tarjouksen.
Voiko palvelimen noutaa itse?
Voi. Varastomme sijaitsee Prahassa, ja nouto paikan päältä on tervetullut — useimmat noutajat käyttävät käynnin hyväkseen, käyvät koneen läpi insinöörimme kanssa ja kysyvät ne kysymykset, jotka ovat sähköpostitse hankalia. Tšekin tasavallan sisäisissä tilauksissa pyrimme myös toimittamaan laitteen henkilökohtaisesti ja käymään asennuksen läpi paikan päällä.
Voinko keskustella jonkun kanssa, joka oikeasti ymmärtää kuormituksen?
Kyllä. Meillä on nimenomaan AI-järjestelmiin erikoistunut insinööri, ei yleistä myyntipalvelua. Jos kysymys koskee eräkokoja, kvantisointia, väyläratkaisuja tai sitä, missä pullonkaula tulee vastaan, kysy — se keskustelu yleensä parantaa kokoonpanoa.
Mitä mallia tällä kokoonpanolla voi ajaa?
Kyllä. Jokainen kone kootaan, rasitustestataan ja testataan todellisilla AI-kuormituksilla ennen toimitusta, ja se lähtee meiltä LLM valmiiksi asennettuna ja käynnissä. Kone kytketään virtaan ja verkkoon, ja työt voi aloittaa — jäljelle jää vain päätös siitä, mikä projekti ajetaan ensin.
Miten palvelin testataan ennen toimitusta?
Testaamme laitteen todellisilla AI-kuormituksilla synteettisten pisteiden sijaan: inferenssiläpäisy, käyttäytyminen jatkuvassa kuormassa ja lämpötilat yhtäjaksoisessa käytössä. Benchmark-tulokset toimitetaan koneen mukana, joten luvattu suorituskyky on todennettavissa ensimmäisestä päivästä lähtien.
Onko palvelin käyttövalmis saapuessaan?
Kyllä. Jokainen kone kootaan, rasitustestataan ja testataan todellisilla AI-kuormituksilla ennen toimitusta, ja se lähtee meiltä LLM valmiiksi asennettuna ja käynnissä. Kone kytketään virtaan ja verkkoon, ja työt voi aloittaa — jäljelle jää vain päätös siitä, mikä projekti ajetaan ensin.
Toimitus EU-varastostamme. Raskaat tuotteet voivat vaatia rahtijärjestelyjä — pyydä toimitustarjous ja toimitusaika. 2 vuoden rajoitettu takuu ja ennakkovaihto-RMA-tuki; jatkettu takuu saatavilla.
Etkö löytänyt juuri sitä, mitä tarvitset?
Kerro kuormituksesi, niin määrittelemme alustan sen ympärille — GPU:t, muisti, tallennustila ja jäähdytys sovitettuna todelliseen käyttöön.