Kentino AI 96 Rome RTXPro6000 2000TOPS — yhden kortin 96 GB Blackwell-työasemapalvelin
Yritystason alusta, koottu ja testattu EU:ssa.
Kentino AI 96 Rome RTXPro6000 2000TOPS
96 GB ECC – yhden kortin työasemapalvelin
1x RTX Pro 6000 Blackwell | EPYC Milan | 2 000 TOPS INT8
Yksi kortti, 96 GB ECC VRAM -muistia ja koko Blackwellin tensoriputki. 70B dense bf16 yhdellä GPU:lla — ei tensoririnnakkaisuuden ylikuormaa.
4U-räkkiasennettava työasemapalvelin, jossa on yksi NVIDIA RTX Pro 6000 Blackwell Workstation -kortti (96 GB ECC GDDR7), yksi AMD EPYC 7643 Milan -suoritin (48C/96T), 256 GB DDR4 ECC -muistia, 2 TB:n NVMe-käynnistysasema ja yksi 2 kW:n ATX-virtalähde 54 %:n varalla. Kentinon yksinkertaisin ohjelmistopolku — ei tensoririnnakkaisuuden määrityksiä eikä usean GPU:n vianetsintää. vLLM, SGLang, llama.cpp ja ComfyUI toimivat yhdellä laitteella suoraan.
Laitteisto
| Komponentti | Tiedot |
|---|---|
| GPU | 1x NVIDIA RTX Pro 6000 Blackwell Workstation 96 GB ECC GDDR7 (600 W, PCIe 5.0 x16) |
| VRAM | 96 GB ECC yhdellä kortilla — ei muistin yhdistämistä, ei tensoririnnakkaisuuden ylikuormaa |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x PCIe 4.0 -linjaa) |
| Emolevy | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Järjestelmämuisti | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Käynnistys / tallennus | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Virtalähde | 1x 2 kW ATX-virtalähde |
| Kotelo | 4U-räkkiasennus (4 korttipaikkaa, 1 käytössä — tilaa laajentaa) |
| Jäähdytys | Arctic Freezer 4U-M SP3 -tornijäähdytin + 3x 120 mm etuimu + 1x 120 mm takapoisto |
| Verkko | Integroitu kaksois-10 GbE (Intel X550) |
Tehobudjetti
- GPU:iden kulutus: 1 x 600 W = 600 W
- Järjestelmä yhteensä täydellä kuormalla: ~925 W
- Virtalähde yhteensä: 2 000 W — 53.8 % varaa
- Yksi virtalähde, yksinkertainen kaapelointi — reilu marginaali yhden kortin kokoonpanolle
Linjatopologia
PCIe Gen4 x16 GPU:lle (kortti on natiivisti Gen5; Rome-emolevy rajoittaa Gen4:ään). Suora root complex -yhteys — ei PCIe-kytkintä. NVLinkiä ei tarvita — yksi kortti, ei GPU:iden välistä linkkiä lainkaan. Kuusi x16-paikkaa jää vapaaksi verkkokortille, tallennukselle tai laajennuksille.
Mitä sillä voi ajaa
96 GB:n ECC VRAM -muistilla yhdellä Blackwell-kortilla tämä palvelin ajaa 70B dense bf16 -mallit yhdellä GPU:lla, avoimen painon LLM-mallit, näkömallit, kuvan- ja videogeneroinnin, puhe-AI:n ja tuotantoinferenssin — ilman tensoririnnakkaisuuden koordinointia.
LLM-mallit — teksti / päättely / koodaus
Kiinalaiset huippumallit
- Qwen3 / Qwen3.5 (Alibaba): Qwen3-32B dense bf16 (~65 GB) runsaalla KV-välimuistilla; Qwen3-72B Q6 (~58 GB, ~25-35 tok/s yhdellä virralla); Qwen3-30B-A3B MoE bf16; Qwen3-Coder-30B-A3B agenttikäytössä 256k kontekstilla; Qwen3.5-122B-A10B Q4 (~70 GB) niukalla KV-välimuistilla; QwQ-32B bf16 päättelyyn
- DeepSeek: DeepSeek-R2 32B sparse MoE bf16 (~64 GB, 92.7 % AIME 2025 yhdellä kortilla); DeepSeek-R1-Distill-Qwen-32B bf16; DeepSeek-V2-Lite 16B täydellä tarkkuudella
- GLM / Z.ai: GLM-4.5-Air 106B/12B Q4-Q5 (60-70 GB); GLM-4.6V 106B Q4
- Tencent Hunyuan: Hunyuan-A13B 80B/13B MoE Q4-fp8 (~48-80 GB) 256k kontekstilla ja kaksitilaisella päättelyllä
- ByteDance Seed-OSS-36B bf16 (~72 GB, niukasti) tai fp8 (~36 GB) täydellä 512k natiivilla kontekstilla
- Baidu ERNIE-4.5-47B-A3B Q4-fp8 pitkällä kontekstilla
Länsimaiset huippumallit
- Meta Llama: Llama 3.3 70B bf16-tarkkuudella (~70 GB) yhdellä kortilla 8-16k kontekstilla — lippulaivakokoonpano; Llama 3.3 70B Q6 (~58 GB, ~35-50 tok/s yhdellä virralla); Llama 3.1 8B bf16 (~80-120 tok/s); Llama 3.2 90B Vision Q4 (~52 GB); Llama 4 Scout 109B/17B MoE Q4 (~63 GB)
- Mistral: Mistral Small 3 / Magistral Small 1.2 / Devstral Small 2 (24B) kaikki bf16-tarkkuudella 256k kontekstilla; Mixtral 8x7B Q6; Codestral Mamba 7B; Pixtral 12B bf16
- OpenAI (avoimet painot): gpt-oss-20b MXFP4 natiivi (16 GB); gpt-oss-120b MXFP4 natiivi (80 GB) — yksi kortti, yksi virta
- Google Gemma 3: 27B multimodaalinen bf16 (~54 GB) 128k kontekstilla; 12B / 4B bf16
- Microsoft Phi-4 14B dense bf16; Phi-4-reasoning; Phi-4-multimodal
- NVIDIA Nemotron: Llama-3.1-Nemotron-Super 49B Q6 (~40 GB); Nemotron-Nano 8B
- Muut: IBM Granite 4.0 H-Small 32B/9B; OLMo 2 32B; Reka Flash 3 21B; Falcon H1R 7B; Command R 35B
Näkö-kielimallit
Qwen3-VL-8B / 32B bf16, Qwen3-VL-30B-A3B MoE bf16, Qwen3-Omni-30B-A3B; InternVL3 enintään 78B Q4 (~48 GB); InternVL3.5-38B bf16; DeepSeek-VL2 koko mallisarja; Llama 3.2 11B Vision bf16; Llama 3.2 90B Vision Q4 (~52 GB); Pixtral 12B bf16; Molmo 72B Q4; Molmo 7B bf16; Gemma 3 12B / 27B multimodaalinen; PaliGemma 2 28B; Phi-3.5-Vision; Aya Vision 8B / 32B; MiniCPM-V 2.6 / MiniCPM-o 2.6; GLM-4.6V.
Kuvagenerointi
FLUX.1 [dev] / [schnell] bf16 (~24 GB) ja kvantisoituna (~15-25 s/kuva fp8:lla); FLUX.1 Kontext [dev] kontekstinsisäiseen muokkaukseen; FLUX Tools (Fill / Depth / Canny / Redux); SD 3.5 Large bf16 (~18 GB); SDXL 1.0; HunyuanImage-2.1 bf16 (~34 GB) natiivilla 2K-resoluutiolla; HunyuanDiT 1.5B; Kolors / Kolors 2.0; AuraFlow v0.3; OmniGen v1; PixArt-Sigma.
Videogenerointi
Wan 2.2 T2V-A14B / I2V-A14B MoE bf16 (~54 GB, molemmat asiantuntijamallit muistissa); Wan 2.2 TI2V-5B nopea polku; HunyuanVideo 13B bf16 (~60-80 GB, niukasti 720p:llä); HunyuanVideo 1.5 (8.3B); CogVideoX-5B; Open-Sora 2.0 (11B) bf16; Genmo Mochi-1 bf16 (~42 GB); LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.
Ääni / puhe / TTS
- ASR: Whisper v3 large / turbo (~50x reaaliaikaa nopeampi); NVIDIA Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2 / Fun-CosyVoice 3.0; Kokoro 82M; Stable Audio Open; Coqui XTTS v2; StyleTTS 2; Step-Audio-EditX
- Reaaliaikainen / S2S: Kyutai Moshi (200 ms, full-duplex); Step-Audio 2 mini; Step-Audio-R1 / R1.1; Qwen2.5-Omni-7B
- Musiikki / äänitehosteet: Meta MusicGen; AudioGen; Suno Bark; SeamlessM4T v2
Usean mallin / usean käyttäjän palvelu
- Yhden käyttäjän striimaava koodausavustaja — 70B dense bf16, matala viive, ei TP-hidastetta
- Yhdistelmäpino muistissa: Qwen3-32B bf16 + FLUX.1 fp8 + Whisper-turbo + Moshi yhdellä kortilla jaetulla VRAM-muistilla
- Hienosäätö: LoRA / QLoRA 13-34B-malleille; täysparametrinen 7B-malleille
- Upotuspalvelu: BGE-M3 / E5 / Jina muistissa generoivan LLM:n rinnalla
Kohdekuormitukset
- Yhden käyttäjän striimaava koodausavustaja Llama 3.3 70B bf16- tai Qwen3-Coder-30B-A3B-mallilla — ei TP-koordinoinnin ylikuormaa
- Kehittäjän työasema yksittäiselle insinöörille tai pienelle tiimille, joka tarvitsee 70B-luokan mallin 32-128k kontekstilla
- Video- tai kuvagenerointilaboratorio — HunyuanVideo 13B, Wan 2.2 dual-expert ja HunyuanImage-2.1, kaikki bf16-tarkkuudella muistissa
- VLM / OCR -testipenkki — Qwen3-VL-32B bf16 tai InternVL3.5-38B pitkien dokumenttien putkilla
- Selkeä laite pienelle LLM API -yhdyskäytävälle — yksi malli, yksi kortti, helppo ylläpito
Mitattu suorituskyky
Julkaistut lähteet | NVIDIA RTX Pro 6000 Blackwell -datalehti + yhteisön benchmarkit
| Testi | Tulos |
|---|---|
| INT8 TOPS korttia kohden (NVIDIA-datalehti) | 2 000 TOPS |
| VRAM korttia kohden | 96 GB ECC GDDR7 |
| Muistikaista | ~1 800 GB/s |
| Llama 3.3 70B Q6 yhdellä GPU:lla (yhteisö) | 40-55 tok/s yhdellä virralla |
| Llama 3.3 70B bf16 yhdellä GPU:lla (yhteisö) | 15-25 tok/s yhdellä virralla |
| Blackwell fp8 natiivisti | DeepSeek-V3 fp8 ja Hunyuan-A13B fp8 toimivat ilman bf16-muunnosta |
Julkaistuja ulkoisia lähteitä, ei mitattu Kentinon laitteistolla. Kentino julkaisee omat lukunsa ensimmäisen asiakastoimituksen jälkeen.
Ei ihanteellinen seuraaviin
- Suurten mallien koulutus alusta asti (yksi GPU — ei tensori- tai pipeline-rinnakkaisuutta)
- Huippuluokan 200B+ MoE-mallit todellisilla kvantisoinneilla (Qwen3-235B Q4, GLM-4.5/4.6 — valitse Kentino AI 192 RTXPro6000 tai suurempi)
- Runsaasti samanaikaisia käyttäjiä palveleva inferenssi (yksi kortti rajoittaa kokonaissuoritustehoa; 4x RTX 4090 tai 4x L40 skaalautuu paremmin)
Takuu ja toimitusaika
NVIDIA:n 3 vuoden OEM-takuu RTX Pro 6000 -kortille + Kentinon integraatiotakuu. Kokoonpanoon sisältyy asennus, BIOS-määritys, ajurien asennus, rasitustestaus ja toiminnan varmistus. Toimitusaika riippuu komponenttien saatavuudesta ja vahvistetaan tilauksen yhteydessä.
Suositellut lisävarusteet
- RAM-päivitys 512 GB:hen (lisää 4x 64 GB DDR4 — neljä DIMM-paikkaa vielä vapaana)
- 4 TB:n NVMe-lisäasema mallikirjastolle / datasettien valmisteluun
- 24U avoin kaappi tuotantokäyttöön räkkiasennukseen
- Gen5 x16 -linkkinopeuteen saatavana pyynnöstä Genoa-alustainen versio
Kysymykset, joita ostajat kysyvät meiltä useimmin ennen palvelimen tilaamista.
Kauanko se kestää?
Varastossa olevista komponenteista rakennetut koneet toimitetaan nopeasti; tiettyä GPU-sukupolvea vaativien koneiden toimitus riippuu saatavuudesta. Annamme päivämäärän ennen maksua, ja jos se muuttuu, kerromme siitä itse emmekä anna sen tulla yllätyksenä.
Voiko kokoonpanoa muuttaa ennen rakentamista?
Lähes aina. GPU:t, muisti, tallennustila ja jäähdytys valitaan tilauskohtaisesti, ja listattu kokoonpano on lähtökohta eikä kiinteä paketti. Jos tarvitaan enemmän VRAM:ia, nopeampaa tallennusta tai erilaista jäähdytysratkaisua, kerro siitä ennen tilausta, niin teemme muutoksesta tarjouksen.
Voiko palvelimen noutaa itse?
Voi. Varastomme sijaitsee Prahassa, ja nouto paikan päältä on tervetullut — useimmat noutajat käyttävät käynnin hyväkseen, käyvät koneen läpi insinöörimme kanssa ja kysyvät ne kysymykset, jotka ovat sähköpostitse hankalia. Tšekin tasavallan sisäisissä tilauksissa pyrimme myös toimittamaan laitteen henkilökohtaisesti ja käymään asennuksen läpi paikan päällä.
Voinko keskustella jonkun kanssa, joka oikeasti ymmärtää kuormituksen?
Kyllä. Meillä on nimenomaan AI-järjestelmiin erikoistunut insinööri, ei yleistä myyntipalvelua. Jos kysymys koskee eräkokoja, kvantisointia, väyläratkaisuja tai sitä, missä pullonkaula tulee vastaan, kysy — se keskustelu yleensä parantaa kokoonpanoa.
Mitä mallia tällä kokoonpanolla voi ajaa?
Kyllä. Jokainen kone kootaan, rasitustestataan ja testataan todellisilla AI-kuormituksilla ennen toimitusta, ja se lähtee meiltä LLM valmiiksi asennettuna ja käynnissä. Kone kytketään virtaan ja verkkoon, ja työt voi aloittaa — jäljelle jää vain päätös siitä, mikä projekti ajetaan ensin.
Miten palvelin testataan ennen toimitusta?
Testaamme laitteen todellisilla AI-kuormituksilla synteettisten pisteiden sijaan: inferenssiläpäisy, käyttäytyminen jatkuvassa kuormassa ja lämpötilat yhtäjaksoisessa käytössä. Benchmark-tulokset toimitetaan koneen mukana, joten luvattu suorituskyky on todennettavissa ensimmäisestä päivästä lähtien.
Onko palvelin käyttövalmis saapuessaan?
Kyllä. Jokainen kone kootaan, rasitustestataan ja testataan todellisilla AI-kuormituksilla ennen toimitusta, ja se lähtee meiltä LLM valmiiksi asennettuna ja käynnissä. Kone kytketään virtaan ja verkkoon, ja työt voi aloittaa — jäljelle jää vain päätös siitä, mikä projekti ajetaan ensin.
Toimitus EU-varastostamme. Raskaat tuotteet voivat vaatia rahtijärjestelyjä — pyydä toimitustarjous ja toimitusaika. 2 vuoden rajoitettu takuu ja ennakkovaihto-RMA-tuki; jatkettu takuu saatavilla.
Etkö löytänyt juuri sitä, mitä tarvitset?
Kerro kuormituksesi, niin määrittelemme alustan sen ympärille — GPU:t, muisti, tallennustila ja jäähdytys sovitettuna todelliseen käyttöön.