Kentino AI 192 Rome RTXPro6000 4000TOPS — 2× RTX Pro 6000 Blackwell Server Edition — EPYC Milan
Yritystason alusta, koottu ja testattu EU:ssa.
Kentino AI 192 Rome RTXPro6000 4000TOPS
192 GB ECC – Blackwell-lippulaivapari
2x RTX Pro 6000 Server Edition | EPYC Milan | 4 000 TOPS INT8
Kaksi passiivista RTX Pro 6000 Blackwell Server Edition -korttia — kummassakin 96 GB ECC. Vähemmän tensor-parallel-yleiskustannusta kuin 4 tai 8 kortin kokoonpanoissa. Konesaliluokan lippulaivapari.
4U-räkkiin asennettava inferenssipalvelin, jossa on kaksi passiivista RTX Pro 6000 Blackwell Server Edition -korttia (96 GB ECC GDDR7 korttia kohden), yksi AMD EPYC 7643 Milan -suoritin (48C/96T), 256 GB DDR4 ECC, 2 TB NVMe-käynnistyslevy ja yksi 2 kW:n ATX-virtalähde. 70B dense bf16 -malleissa ja keskikokoisissa MoE-malleissa harvemmat suuret kortit voittavat useammat pienet — kahden kortin tensor-rinnakkaisuudessa tiedonsiirron yleiskustannus on minimaalinen, ja kuhunkin 96 GB:n korttiin mahtuu täydellinen kopio useimmista malleista.
Laitteisto
| Komponentti | Tiedot |
|---|---|
| GPU:t | 2x NVIDIA RTX Pro 6000 Blackwell Server Edition 96 GB ECC GDDR7 (passiivinen, 600 W, PCIe 5.0 x16, kahden paikan levyinen) |
| VRAM-kokonaismäärä | 192 GB ECC (96 GB x 2) — kumpikin kortti kantaa 70B bf16 -mallin yksinään |
| Suoritin | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x PCIe 4.0 -linjaa) |
| Emolevy | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Keskusmuisti | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Käynnistys / tallennus | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Virtalähde | 1x 2 kW ATX-virtalähde |
| Kotelo | 4U-räkkikotelo, ohjattu ilmavirta edestä taakse |
| Jäähdytys | Arctic Freezer 4U-M SP3 -tornijäähdytin + 3x 120 mm etuimuri + 1x 120 mm takapuhallin |
| Verkko | Integroitu kaksois-10 GbE (Intel X550) |
Tehobudjetti
- GPU-kulutus: 2 x 600 W = 1 200 W
- Järjestelmä yhteensä täydellä kuormalla: ~1 525 W
- Virtalähde yhteensä: 2 000 W (yksi 2 kW) — 23.7 % varaa
- Yksi virtalähde riittää; valinnainen kahden virtalähteen päivitys N+1-redundanssia varten
Linjatopologia
PCIe Gen4 x16 per GPU (kortti on natiivisti Gen5; Rome-emolevy rajoittaa Gen4:ään). Suora root complex -yhteys — ei PCIe-kytkintä. Ei NVLinkiä — GPU:iden välinen peer-to-peer. Viisi x16-paikkaa jää vapaaksi laajennuksille. Gen4 vs. Gen5 on inferenssissä merkityksetön tällä VRAM-tiheydellä.
Mitä sillä voi ajaa
Kun 192 GB ECC VRAM -muistia on vain kahdessa Blackwell-kortissa natiivilla fp8/fp4-tuella, tämä on suoraviivaisin tie dense 70B -malleihin bf16-tarkkuudella ja keskikokoisiin MoE-malleihin. Kaksi itsenäistä 70B-virtaa — yksi per kortti — tai 200B MoE molempien yli minimaalisella 2-suuntaisen TP:n yleiskustannuksella.
LLM:t — teksti / päättely / koodaus
Kiinalaiset kärkimallit
- Qwen3 / Qwen3.5 (Alibaba): Qwen3-235B-A22B Q4 (~132 GB) väljästi pitkällä kontekstilla (~15-25 tok/s yksittäisvirta 2 kortin yli); Qwen3-Coder-480B-A35B Q2 (~160 GB); Qwen3.5-122B-A10B fp8 (~75 GB); Qwen3-32B dense bf16 suurella KV-välimuistilla; QwQ-32B bf16
- DeepSeek: DeepSeek-V3/R1 Q2 (~215 GB pienellä RAM-ylivuodolla) — Blackwell ajaa fp8:aa natiivisti; DeepSeek-R2 32B bf16 kaksi samanaikaista virtaa (yksi per kortti)
- GLM / Z.ai: GLM-4.5 / 4.6 / 4.7 Q4 (~177 GB) — tämän tason pääkokoonpano; GLM-4.5-Air fp8 tai bf16 suurella KV-välimuistilla
- Tencent Hunyuan: Hunyuan-Large Q3 (~160 GB) — 389B MoE, 256k konteksti; Hunyuan-A13B natiivi fp8 (~80 GB) suurella KV-välimuistilla
- Muut: Baidu ERNIE-4.5-424B Q3 (~180 GB); InternVL3.5-241B-A28B Q4 (~135 GB); MiniMax-M1 Q3 (~180 GB)
Länsimaiset kärkimallit
- Meta Llama: Llama 3.3 70B bf16 yhdellä kortilla — kaksi itsenäistä samanaikaista 70B-virtaa (~20-30 tok/s per virta); Llama 4 Scout bf16 (~218 GB, tiukka); Llama 4 Maverick Q3 (~188 GB)
- Mistral: Mistral Large 2 / Pixtral Large / Devstral 2 123B Q6 (~88 GB) yhdellä kortilla tai bf16 molempien yli; Mistral Small 3 usealla virralla
- OpenAI (avoimet painot): gpt-oss-120b natiivi MXFP4 (80 GB) — mahtuu YHDELLE kortille, kaksi itsenäistä samanaikaista virtaa
- NVIDIA Nemotron: Llama-3.1-Nemotron Ultra 253B Q4 (~147 GB); Super 49B bf16 yhdellä kortilla
- Muut: Cohere Command R+ 104B Q6 (~85 GB) yhdellä kortilla; Google Gemma 3 27B bf16 useana samanaikaisena virtana
Vision-language-mallit
InternVL3.5-241B-A28B Q4 (~135 GB); Qwen3-VL-235B-A22B Q4; Qwen3-VL-32B bf16 yhdellä kortilla; Pixtral Large 124B bf16 tai Q6; Llama 3.2 90B Vision bf16 (~180 GB); Molmo 72B bf16 (~144 GB); GLM-4.6V 106B fp8; Gemma 3 27B multimodaalinen x 2-3 samanaikaista virtaa.
Kuvien generointi
FLUX.1 [dev] bf16 useana samanaikaisena virtana; FLUX.1 Kontext [dev]; FLUX Tools; SD 3.5 Large bf16 samanaikaisesti; HunyuanImage-2.1 bf16 (~34 GB) x 2-4 samanaikaisesti; HunyuanImage-3.0 base (80B MoE, 13B aktiivisena) bf16 — mahtuu yhdelle kortille; HunyuanDiT; Kolors / Kolors 2.0; AuraFlow; OmniGen v1; PixArt-Sigma.
Videon generointi
Wan 2.2 MoE dual-expert bf16 täydellä kontekstilla — mahtuu yhdelle kortille, kaksi samanaikaista generointivirtaa; Wan 2.2 TI2V-5B; HunyuanVideo 13B bf16 molemmat expertit; HunyuanVideo 1.5; CogVideoX-5B bf16; Open-Sora 2.0 11B bf16; Mochi-1 bf16 (~42 GB); LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.
Ääni / puhe / TTS
- ASR: Whisper v3 large / turbo (~50x reaaliaika); Parakeet-TDT; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2/3; Kokoro 82M; XTTS v2; Stable Audio Open; Step-Audio-EditX
- Reaaliaika / S2S: Kyutai Moshi 7B; Step-Audio 2 mini/R1; Qwen2.5-Omni-7B
- Musiikki / SFX: MusicGen / AudioGen / Bark; SeamlessM4T v2
Monimalli- ja monivuokralaiskäyttö
- Kaksi itsenäistä 70B-virtaa — yksi per kortti, yksinkertaisin tapa eristää vuokralaiset
- Dense 70B bf16 + tukipino — LLM kortilla 1, kuva/video/ääni kortilla 2
- 200B MoE molempien korttien yli — minimaalinen tensor-parallel-yleiskustannus (2-suuntainen jako)
- Natiivi fp8 -kärkimallit — DeepSeek V3 -perhe, Hunyuan-Large fp8 Blackwellin natiiveilla poluilla
Kohdekuormitukset
- Dense 70B bf16 -inferenssi — kaksi korttia tensor-rinnakkain minimaalisella yleiskustannuksella tai yksi malli per kortti striimaukseen
- 100-150B MoE Q4-Q6-tarkkuudella (GLM-4.5-Air, Qwen3.5-122B-A10B, Hunyuan-A13B, Llama 4 Scout)
- Natiivi FP8-kärki-inferenssi (DeepSeek V3 -perhe, Hunyuan, Llama 4) — Blackwell ajaa fp8:aa natiivisti
- Kuva- ja videogenerointistudio bf16-tarkkuudella (Wan 2.2 T2V-A14B, HunyuanVideo 13B, FLUX.1 [dev])
- Pitkän kontekstin dokumenttianalyysi (MiniMax-M1, Kimi-K2 1.58-bit UD ylivuodolla)
Mitattu suorituskyky
Julkaistut lähteet | NVIDIA RTX Pro 6000 Blackwell Server Edition -datalehti + yhteisön benchmarkit
| Testi | Tulos |
|---|---|
| INT8 TOPS per kortti (NVIDIA-datalehti) | 2 000 TOPS |
| INT8 TOPS yhteensä (2 korttia) | 4 000 TOPS |
| Muistikaista per kortti | ~1 800 GB/s, 96 GB ECC GDDR7 |
| Llama 3.3 70B bf16 per kortti (yhteisö) | 15-25 tok/s yksittäisvirta, 60-90 tok/s eräajo |
| Kahden kortin tensor-parallel 70B (yhteisö) | ~30-45 tok/s yksittäisvirta (odotettu) |
| Blackwell natiivi fp8 | DeepSeek-V3 fp8 ja Hunyuan-A13B fp8 toimivat ilman bf16-muunnosta |
Julkaistuja ulkoisia lähteitä, ei mitattu Kentinon laitteistolla. Kentino julkaisee omat lukunsa ensimmäisen asiakastoimituksen jälkeen.
Ei ihanteellinen
- Erittäin suuren samanaikaisuuden monivuokralaiskäyttöön — 4x L40 tai 6x L4 jakaa kuorman paremmin useammalle kortille
- Raskaaseen KV-välimuistiin erittäin pitkällä kontekstilla — valitse Kentino AI 384 RTXPro6000 8000TOPS
- Koulutukseen — Kentino ei myy H-luokan NVLink-verkkoja
- Edulliseen inferenssiin 192 GB:n muistilla — 8x RTX 4090 on halvempi (ECC ja passiivinen jäähdytys vaihdetaan hintaan)
Takuu ja toimitusaika
NVIDIAn OEM-takuu 3 vuotta RTX Pro 6000 Server Editionille + Kentinon integrointitakuu. Toimitukseen sisältyy kokoonpano, BIOS-määritys, ajurien asennus, burn-in-testaus ja toiminnallinen tarkastus. Toimitusaika riippuu komponenttien saatavuudesta ja vahvistetaan tilauksen yhteydessä.
Suositellut lisävarusteet
- Päivitys kahteen synkronoituun 2 kW:n virtalähteeseen N+1-redundanssia varten
- RAM-päivitys 512 GB:hen (4 DIMM-paikkaa vapaana)
- 4 TB NVMe suurille painokirjastoille ja mallien esivalmistelulle
- Laajennus 4 kortin kokoonpanoon (Kentino AI 384 RTXPro6000 8000TOPS) — kotelossa on riittävästi paikkoja
- 24U-räkkikaappi + online-UPS 5 kVA
Kysymykset, joita ostajat kysyvät meiltä useimmin ennen palvelimen tilaamista.
Kauanko se kestää?
Varastossa olevista komponenteista rakennetut koneet toimitetaan nopeasti; tiettyä GPU-sukupolvea vaativien koneiden toimitus riippuu saatavuudesta. Annamme päivämäärän ennen maksua, ja jos se muuttuu, kerromme siitä itse emmekä anna sen tulla yllätyksenä.
Voiko kokoonpanoa muuttaa ennen rakentamista?
Lähes aina. GPU:t, muisti, tallennustila ja jäähdytys valitaan tilauskohtaisesti, ja listattu kokoonpano on lähtökohta eikä kiinteä paketti. Jos tarvitaan enemmän VRAM:ia, nopeampaa tallennusta tai erilaista jäähdytysratkaisua, kerro siitä ennen tilausta, niin teemme muutoksesta tarjouksen.
Voiko palvelimen noutaa itse?
Voi. Varastomme sijaitsee Prahassa, ja nouto paikan päältä on tervetullut — useimmat noutajat käyttävät käynnin hyväkseen, käyvät koneen läpi insinöörimme kanssa ja kysyvät ne kysymykset, jotka ovat sähköpostitse hankalia. Tšekin tasavallan sisäisissä tilauksissa pyrimme myös toimittamaan laitteen henkilökohtaisesti ja käymään asennuksen läpi paikan päällä.
Voinko keskustella jonkun kanssa, joka oikeasti ymmärtää kuormituksen?
Kyllä. Meillä on nimenomaan AI-järjestelmiin erikoistunut insinööri, ei yleistä myyntipalvelua. Jos kysymys koskee eräkokoja, kvantisointia, väyläratkaisuja tai sitä, missä pullonkaula tulee vastaan, kysy — se keskustelu yleensä parantaa kokoonpanoa.
Mitä mallia tällä kokoonpanolla voi ajaa?
Kyllä. Jokainen kone kootaan, rasitustestataan ja testataan todellisilla AI-kuormituksilla ennen toimitusta, ja se lähtee meiltä LLM valmiiksi asennettuna ja käynnissä. Kone kytketään virtaan ja verkkoon, ja työt voi aloittaa — jäljelle jää vain päätös siitä, mikä projekti ajetaan ensin.
Miten palvelin testataan ennen toimitusta?
Testaamme laitteen todellisilla AI-kuormituksilla synteettisten pisteiden sijaan: inferenssiläpäisy, käyttäytyminen jatkuvassa kuormassa ja lämpötilat yhtäjaksoisessa käytössä. Benchmark-tulokset toimitetaan koneen mukana, joten luvattu suorituskyky on todennettavissa ensimmäisestä päivästä lähtien.
Onko palvelin käyttövalmis saapuessaan?
Kyllä. Jokainen kone kootaan, rasitustestataan ja testataan todellisilla AI-kuormituksilla ennen toimitusta, ja se lähtee meiltä LLM valmiiksi asennettuna ja käynnissä. Kone kytketään virtaan ja verkkoon, ja työt voi aloittaa — jäljelle jää vain päätös siitä, mikä projekti ajetaan ensin.
Toimitus EU-varastostamme. Raskaat tuotteet voivat vaatia rahtijärjestelyjä — pyydä toimitustarjous ja toimitusaika. 2 vuoden rajoitettu takuu ja ennakkovaihto-RMA-tuki; jatkettu takuu saatavilla.
Etkö löytänyt juuri sitä, mitä tarvitset?
Kerro kuormituksesi, niin määrittelemme alustan sen ympärille — GPU:t, muisti, tallennustila ja jäähdytys sovitettuna todelliseen käyttöön.