Kentino AI 128 Rome 5090 6704TOPS — 4× RTX 5090 Blackwell AI-palvelin
Yritystason alusta, koottu ja testattu EU:ssa.
Kentino AI 128 Rome 5090 6704TOPS
128 GB VRAM:n Blackwell-inferenssipalvelin
4x RTX 5090 | EPYC Milan | 6 704 TOPS INT8
Neljä Blackwell RTX 5090 -korttia natiiveilla fp8/fp4-tensoripoluilla. Rome-alustan suurimman läpäisykyvyn 4-GPU-kokoonpano.
4U-räkkiin asennettava inferenssipalvelin: neljä GeForce RTX 5090 -korttia, joiden VRAM yhdistyy 128 GB:ksi, yksi AMD EPYC 7643 Milan -suoritin (48C/96T), 512 GB DDR4 ECC (kaikki 8 DIMM-paikkaa käytössä maksimaalisen kaistanleveyden vuoksi), 2 TB NVMe-käynnistyslevy ja kaksi synkronoitua 2 kW:n ATX-virtalähdettä. Ajaa vLLM:ää, SGLangia, llama.cpp:tä ja ComfyUI:ta Blackwellin natiiveilla fp8- ja MXFP4-inferenssiytimillä.
Laitteisto
| Komponentti | Tiedot |
|---|---|
| GPU:t | 4x NVIDIA GeForce RTX 5090 32 GB GDDR7 (Blackwell, 575 W, PCIe 5.0 x16) |
| VRAM-pooli | Yhteensä 128 GB neljässä kortissa (kuluttajamallin 5090:ssä ei ole NVLinkiä) |
| Suoritin | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x PCIe 4.0 -linjaa) |
| Emolevy | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Järjestelmämuisti | 512 GB DDR4-2666 ECC RDIMM (8x 64 GB — kaikki DIMM-paikat käytössä) |
| Käynnistys / tallennus | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Virtalähde | Kaksi 2 kW:n ATX-virtalähdettä synkronointikaapelilla + 12VHPWR-adapterisarja |
| Runko | 4U-räkkiasennus, 4x GPU, passiiviset PCIe 4.0 x16 -riserit |
| Jäähdytys | Arctic Freezer 4U-M SP3 -tornijäähdytin + 3x 120 mm etuimu + 1x 120 mm takapoisto |
| Verkko | Integroitu kaksois-10 GbE (Intel X550) |
Tehobudjetti
- GPU-kulutus: 4 x 575 W = 2 300 W
- Järjestelmä yhteensä täydellä kuormalla: ~2 650 W
- Virtalähteet yhteensä: 4 000 W (2 x 2 kW synkronoituna) — 33.8 % varaa
- Kaksi virtalähdettä jaettuun tehonsyöttöön — kumpikin syöttää osaa järjestelmästä
Linjatopologia
ROMED8-2T jakaa EPYCin 128 PCIe Gen4 -linjaa suoraan seitsemään x16-paikkaan; neljässä on GPU Gen4 x16 -nopeudella. Ei PCIe-kytkintä. Kuluttajamallin 5090:ssä ei ole NVLinkiä — GPU:iden välinen peer-to-peer. Kortit ovat natiivisti Gen5-kortteja; Rome rajoittaa Gen4:ään.
Mitä palvelimella voi ajaa
128 GB:n yhdistetyllä VRAM:lla ja Blackwellin natiiveilla fp8-tensoripoluilla palvelin yltää Qwen3-235B-A22B Q4:ään ja gpt-oss-120b MXFP4:ään todellisella KV-varalla — pidemmälle kuin 4x RTX 4090 ylttää.
LLM:t — teksti / päättely / koodaus
Kiinalaiset kärkimallit
- Qwen3 / Qwen3.5 (Alibaba): Qwen3-235B-A22B Q3-Q4 (~112-132 GB) mahtuu 128 GB:n pooliin 8-16k kontekstilla — lippulaivakokoonpano; Qwen3-32B dense bf16 (~65 GB) valtavalla KV-välimuistilla; Qwen3-Coder-30B-A3B agenttikäyttöön 1M kontekstilla; Qwen3.5-122B-A10B Q6/fp8 (~75-80 GB); QwQ-32B bf16 -päättely
- DeepSeek: DeepSeek-V3/R1/V3.1/V3.2 fp8-natiivi Q2 (~215 GB) RAM-ylivuodolla 512 GB:n isäntämuistiin — toimii eräajossa; DeepSeek-R2 32B bf16 monivirtaisena (4 rinnakkain, yksi korttia kohden)
- GLM / Z.ai: GLM-4.5-Air 106B/12B fp8 (~106 GB) tai Q6 väljästi; GLM-4.5/4.6/4.7 Q2_K_XL (~135 GB) tiukasti MoE-siirrolla
- Tencent Hunyuan: Hunyuan-A13B natiivi fp8 (~80 GB) — Blackwell ajaa fp8:aa ilman upcast-sakkoa; Hunyuan-Large Q2 RAM-ylivuodolla
- ByteDance Seed-OSS-36B bf16 natiivilla 512k kontekstilla; ERNIE-4.5-424B Q2 (~150 GB ylivuotoa)
Länsimaiset kärkimallit
- Meta Llama: Llama 3.3 70B Q4 jaettuna 4x 5090:lle (~30-40 tok/s yksi virta, ~270+ tok/s batch-32 vLLM); Llama 4 Scout 109B/17B MoE fp8/Q6 (~90 GB); Llama 4 Maverick 400B/17B Q3 (~188 GB ylivuotoa)
- Mistral: Mistral Small 3 / Magistral / Devstral Small 2 (24B) bf16 monivirtaisena; Pixtral Large / Mistral Large 2 (123B) Q6 (~88 GB)
- OpenAI (avoimet painot): gpt-oss-120b natiivi MXFP4 (80 GB) todellisella KV-varalla ja pitkällä kontekstilla — Blackwellin lippulaivakuormitus; gpt-oss-20b MXFP4
- Google Gemma 3: 27B multimodaalinen bf16 (~54 GB) kahtena rinnakkaisena virtana; 12B / 4B
- Microsoft Phi-4 14B dense bf16; tislattu Phi-4-reasoning
- NVIDIA Nemotron: Llama-3.1-Nemotron Ultra 253B Q3 (~119 GB) tiukasti; Super 49B bf16 (~98 GB)
- Muut: Cohere Command R+ 104B Q6 (~85 GB); Molmo 72B Q6-bf16 VLM; OLMo 2 32B; IBM Granite 4.0 H-Small
Näkö-kielimallit
Qwen3-VL-235B-A22B Q3-Q4; Qwen3-VL-32B bf16; InternVL3.5-241B-A28B Q4 (~135 GB tiukasti); InternVL3 78B bf16; Llama 3.2 90B Vision Q6 (~74 GB); Pixtral Large 124B Q6 (~88 GB); Molmo 72B Q6/bf16; Gemma 3 27B multimodaalinen bf16; GLM-4.6V 106B fp8.
Kuvien generointi
FLUX.1 [dev] bf16 ja fp8 (~10-18 s/kuva fp8:lla); FLUX.1 Kontext [dev]; SD 3.5 Large bf16; HunyuanImage-2.1 bf16 ja Q4; HunyuanImage-3.0 base (80B MoE, 13B aktiivista) bf16 (~80 GB, lippulaivakoko); HunyuanDiT; Kolors / Kolors 2.0; AuraFlow v0.3; OmniGen v1; PixArt-Sigma.
Videon generointi
Wan 2.2 MoE, kaksi asiantuntijaa, bf16 (~54 GB, täysi konteksti); Wan 2.2 TI2V-5B; HunyuanVideo 13B bf16 molemmat asiantuntijat (~60-80 GB); HunyuanVideo 1.5; CogVideoX-5B bf16; Open-Sora 2.0 11B bf16 (~24 GB); Genmo Mochi-1 bf16 (~42 GB); LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos.
Ääni / puhe / TTS
- ASR: Whisper v3 large / turbo (~50x reaaliaikaa); Parakeet-TDT; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2 / 3; Kokoro 82M; Stable Audio Open; XTTS v2; StyleTTS 2; Step-Audio-EditX
- Reaaliaikainen / S2S: Kyutai Moshi 7B; Step-Audio 2 mini/R1; Qwen2.5-Omni-7B
- Musiikki / äänitehosteet: MusicGen / AudioGen / Bark; SeamlessM4T v2
Usean mallin ja usean asiakkaan palvelu
- 200B MoE Q4:llä eräinferenssillä (Qwen3-235B, GLM-4.5/4.6/4.7-Air) 8-16 samanaikaiselle käyttäjälle
- fp8-natiivit kärkimallit — DeepSeek V3 -perhe, Hunyuan-Large fp8 Blackwellin natiiveilla poluilla
- Sekapino muistissa: gpt-oss-120b MXFP4 + FLUX.1 + Whisper + Moshi osioidulla VRAM:lla
- Suuren läpäisyn 70B — tensor-parallel vLLM / SGLang, 200+ tok/s yhteenlaskettu eräläpäisy
Kohdekuormitukset
- 200B+ MoE -tuotantokäyttö Q3-Q4:llä todellisella KV-varalla (Qwen3-235B, GLM-4.5-Air 106B)
- fp8-natiivi kärkimallien inferenssi (DeepSeek V3/R1 fp8, Hunyuan fp8) — Blackwell ajaa ilman upcastia
- Suuren läpäisyn 70B-palvelu — tensor-parallel-eräajo vLLM:llä tai SGLangilla
- Videogenerointistudio bf16:lla (Wan 2.2 dual-expert, HunyuanVideo 13B, Mochi-1)
- Usean asiakkaan sekakuormitus — 120B MoE + kuvagenerointi + reaaliaikainen puhe samanaikaisesti muistissa
Mitattu suorituskyky
Julkaistut viitearvot | NVIDIA RTX 5090 -datalehti + yhteisön benchmarkit
| Testi | Tulos |
|---|---|
| INT8 TOPS korttia kohden (NVIDIA-datalehti) | 1 676 TOPS |
| Yhteenlaskettu INT8 TOPS (4 korttia) | 6 704 TOPS |
| Muistikaista korttia kohden | ~1 792 GB/s |
| Llama 3.3 70B Q6 vLLM:llä (yhteisö) | 60-90 tok/s yksi virta, 300+ tok/s erä |
| Qwen3-235B-A22B Q3-Q4 | Mahtuu 128 GB:n pooliin 8-16k kontekstilla |
| gpt-oss-120b natiivi MXFP4 | 80 GB — väljästi KV-varalla |
Julkaistuja ulkoisia viitearvoja, ei mitattu Kentinon laitteistolla. Kentino julkaisee omat lukemansa ensimmäisen asiakastoimituksen jälkeen.
Ei ihanteellinen
- Kärkimallit 400B+ Q4:llä (Kimi-K2, Mistral Large 3, Intern-S1-Pro — vaativat 8 GPU:ta tai 6x RTX Pro 6000)
- PCIe Gen5 -linkille herkät kuormitukset — valitse Genoa-malli natiivia Gen5 x16:ta varten
- Koulutus alusta alkaen (kuluttajamallin 5090:ssä ei ole NVLinkiä)
- ECC-herkkä 24/7-tuotanto — kuluttajamallin 5090:ssä ei ole ECC:tä; suositus L40 tai RTX Pro 6000 Server Edition
Takuu ja toimitusaika
Kokoonpanoon sisältyvät asennus, BIOS-määritys, ajurien asennus, rasitustestaus ja toiminnallinen tarkastus. Toimitusaika riippuu komponenttien saatavuudesta ja vahvistetaan tilauksen yhteydessä.
Suositellut lisävarusteet
- Virtalähteiden päivitys 2 x 2.5 kW:iin (FSP) jatkuvaan pahimman tapauksen bf16- ja videokuormaan — suositellaan 24/7-käyttöön
- 4 TB NVMe mallikirjastolle + MoE-painojen esilataukseen
- 24U avoin kaappi usean palvelimen käyttöönottoon
- Genoa-alustan versio pyynnöstä Gen5 x16 -linkkiä varten
Kysymykset, joita ostajat kysyvät meiltä useimmin ennen palvelimen tilaamista.
Kauanko se kestää?
Varastossa olevista komponenteista rakennetut koneet toimitetaan nopeasti; tiettyä GPU-sukupolvea vaativien koneiden toimitus riippuu saatavuudesta. Annamme päivämäärän ennen maksua, ja jos se muuttuu, kerromme siitä itse emmekä anna sen tulla yllätyksenä.
Voiko kokoonpanoa muuttaa ennen rakentamista?
Lähes aina. GPU:t, muisti, tallennustila ja jäähdytys valitaan tilauskohtaisesti, ja listattu kokoonpano on lähtökohta eikä kiinteä paketti. Jos tarvitaan enemmän VRAM:ia, nopeampaa tallennusta tai erilaista jäähdytysratkaisua, kerro siitä ennen tilausta, niin teemme muutoksesta tarjouksen.
Voiko palvelimen noutaa itse?
Voi. Varastomme sijaitsee Prahassa, ja nouto paikan päältä on tervetullut — useimmat noutajat käyttävät käynnin hyväkseen, käyvät koneen läpi insinöörimme kanssa ja kysyvät ne kysymykset, jotka ovat sähköpostitse hankalia. Tšekin tasavallan sisäisissä tilauksissa pyrimme myös toimittamaan laitteen henkilökohtaisesti ja käymään asennuksen läpi paikan päällä.
Voinko keskustella jonkun kanssa, joka oikeasti ymmärtää kuormituksen?
Kyllä. Meillä on nimenomaan AI-järjestelmiin erikoistunut insinööri, ei yleistä myyntipalvelua. Jos kysymys koskee eräkokoja, kvantisointia, väyläratkaisuja tai sitä, missä pullonkaula tulee vastaan, kysy — se keskustelu yleensä parantaa kokoonpanoa.
Mitä mallia tällä kokoonpanolla voi ajaa?
Kyllä. Jokainen kone kootaan, rasitustestataan ja testataan todellisilla AI-kuormituksilla ennen toimitusta, ja se lähtee meiltä LLM valmiiksi asennettuna ja käynnissä. Kone kytketään virtaan ja verkkoon, ja työt voi aloittaa — jäljelle jää vain päätös siitä, mikä projekti ajetaan ensin.
Miten palvelin testataan ennen toimitusta?
Testaamme laitteen todellisilla AI-kuormituksilla synteettisten pisteiden sijaan: inferenssiläpäisy, käyttäytyminen jatkuvassa kuormassa ja lämpötilat yhtäjaksoisessa käytössä. Benchmark-tulokset toimitetaan koneen mukana, joten luvattu suorituskyky on todennettavissa ensimmäisestä päivästä lähtien.
Onko palvelin käyttövalmis saapuessaan?
Kyllä. Jokainen kone kootaan, rasitustestataan ja testataan todellisilla AI-kuormituksilla ennen toimitusta, ja se lähtee meiltä LLM valmiiksi asennettuna ja käynnissä. Kone kytketään virtaan ja verkkoon, ja työt voi aloittaa — jäljelle jää vain päätös siitä, mikä projekti ajetaan ensin.
Toimitus EU-varastostamme. Raskaat tuotteet voivat vaatia rahtijärjestelyjä — pyydä toimitustarjous ja toimitusaika. 2 vuoden rajoitettu takuu ja ennakkovaihto-RMA-tuki; jatkettu takuu saatavilla.
Etkö löytänyt juuri sitä, mitä tarvitset?
Kerro kuormituksesi, niin määrittelemme alustan sen ympärille — GPU:t, muisti, tallennustila ja jäähdytys sovitettuna todelliseen käyttöön.