Kentino AI 96 Rome 4090 2644TOPS — 4× RTX 4090 AI-inferenssipalvelin
Yritystason alusta, koottu ja testattu EU:ssa.
Kentino AI 96 Rome 4090 2644TOPS
96 GB VRAM -inferenssipalvelin
4x RTX 4090 | EPYC Rome | 2 644 TOPS INT8
Mitattu Kentinon laitteistolla. Llama 3.3 70B AWQ INT4, vLLM 0.19.0.
Räkkiin asennettava 4U-inferenssipalvelin: neljä GeForce RTX 4090 -korttia, yhteensä 96 GB VRAM, yksi AMD EPYC 7542 Rome -suoritin (32C/64T), 256 GB DDR4 ECC, 2 TB NVMe-käynnistyslevy ja kaksi synkronoitua 2 kW ATX-virtalähdettä. Ajaa vLLM:ää, SGLangia, llama.cpp:tä, ComfyUI:ta ja kaikkia merkittäviä avoimen painon inferenssipinoja suoraan paketista.
Laitteisto
| Komponentti | Tiedot |
|---|---|
| GPU:t | 4x NVIDIA GeForce RTX 4090 24 GB GDDR6X (450 W, PCIe 4.0 x16) |
| VRAM-pooli | 96 GB yhteensä 4 kortissa |
| CPU | AMD EPYC 7542 Rome (32C/64T, 225 W, 128x PCIe 4.0 -kaistaa) |
| Emolevy | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Keskusmuisti | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Tallennus | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Virtalähde | Kaksi 2 kW ATX-virtalähdettä synkronointikaapelilla |
| Runko | 4U-räkkirunko, ohjattu ilmavirta edestä taakse |
| Jäähdytys | SP3-tornijäähdytin, 3x etu- + 1x taka-120 mm teollisuustuuletin |
| Verkko | Integroitu kaksiporttinen 10 GbE (Intel X550) |
Tehobudjetti
- GPU-kulutus: 4 x 450 W = 1 800 W
- Järjestelmä yhteensä: ~2 125 W
- Virtalähteet yhteensä: 4 000 W (2x 2 kW) — 46.9% varaa
- Jaettu virransyöttö — yhden virtalähteen vikaantuminen = 2 GPU:n tai 2 GPU:n + emolevyn menetys
Kaistatopologia
128 PCIe Gen4 -kaistaa EPYCiltä seitsemään x16-paikkaan; neljässä GPU:t Gen4 x16 -nopeudella. Ei PCIe-kytkintä. Ei NVLinkiä — vertaisliikenne 19-22 GB/s (Kentinon mittaama).
Mitä sillä voi ajaa
96 GB:n yhteisellä VRAM-muistilla neljässä kortissa tämä palvelin käsittelee avoimen painon LLM:t, näkömallit, kuva- ja videogeneroinnin, puhe-AI:n ja monivuokralaisen palvelun.
LLM:t — teksti / päättely / koodaus
Kiinalaiset frontier-mallit
- Qwen3 / Qwen3.5: Qwen3-72B Q4 (~15-20 tok/s); Qwen3-32B Q6; Qwen3-30B-A3B MoE Q4-Q6; Qwen3-Coder-30B-A3B at 256k; Qwen3.5-122B-A10B Q4; QwQ-32B
- DeepSeek: DeepSeek-R2 32B Q4-Q6 (92.7% AIME 2025); DeepSeek-R1-Distill-Qwen-32B bf16; DeepSeek-V2-Lite 16B
- GLM / Z.ai: GLM-4.5-Air 106B/12B Q4-Q5; GLM-4.6V-Flash; GLM-Zero 9B
- Hunyuan: Hunyuan-A13B Q4-Q6 (~48 GB), 256k konteksti, kaksitilainen päättely
- Muut: Seed-OSS-36B Q4 512k konteksti; ERNIE-4.5-47B-A3B Q4; Yi-34B Q6; Baichuan-M2-32B; Step-3.5-Flash
Länsimaiset frontier-mallit
- Meta Llama: Llama 3.3 70B Q4_K_M (~20 tok/s llama.cpp, ~179 tok/s batch-32 vLLM — Kentinon mittaama); Llama 3.1 8B bf16 (~80-120 tok/s); Llama 4 Scout Q4
- Mistral: Small 3 24B bf16; Magistral Small 24B päättely; Devstral Small 2 24B 256k konteksti; Mixtral 8x7B Q6
- OpenAI: gpt-oss-20b MXFP4 (16 GB); gpt-oss-120b MXFP4 (80 GB, tiukka)
- Muut: Gemma 3 27B Q6 128k; Phi-4 14B bf16; Nemotron-Super 49B Q4; Granite 4.0 H-Small; OLMo 2 32B; Reka Flash 3; Command R 35B
Näkö-kielimallit
Qwen3-VL-8B/32B, Qwen3-VL-30B-A3B, Qwen3-Omni-30B-A3B; InternVL3 up to 78B Q4; InternVL3.5-38B; DeepSeek-VL2; Llama 3.2 11B Vision; Pixtral 12B; Molmo 7B; Gemma 3 12B/27B; PaliGemma 2; MiniCPM-V 2.6 / MiniCPM-o 2.6.
Kuvagenerointi
FLUX.1 [dev]/[schnell] fp8 (~15-25 s / 1024x1024); FLUX.1 Kontext; FLUX Tools; SD 3.5 Large; SDXL; HunyuanImage-2.1 bf16 (~34 GB) natiivi 2K; Kolors 2.0; AuraFlow; OmniGen v1.
Videogenerointi
Wan 2.2 T2V-A14B/I2V-A14B MoE (~54 GB bf16); Wan 2.2 TI2V-5B 720p@24fps; HunyuanVideo 13B Q4-Q5; HunyuanVideo 1.5; CogVideoX-5B; Open-Sora 2.0; Mochi-1; LTX-Video; SVD/SV3D/SV4D; NVIDIA Cosmos Predict 2.
Ääni / puhe / TTS
- ASR: Whisper v3 turbo (~50x reaaliaika); Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 3.0; Kokoro 82M; Stable Audio Open; Step-Audio-EditX
- Reaaliaikainen: Kyutai Moshi (200 ms, full-duplex); Step-Audio 2 mini; Qwen2.5-Omni-7B
- Musiikki: MusicGen; AudioGen; Suno Bark; SeamlessM4T v2
Monimallipalvelu
- 4-8 samanaikaista käyttäjää 32-72B LLM-malleilla vLLM / SGLang -tensoririnnakkaisuudella
- Yhdistelmä: Qwen3-32B + FLUX.1 + Whisper-turbo + Moshi osioidulla VRAM-muistilla
- LoRA/QLoRA-hienosäätö 32-72B; täysparametrinen 7-14B
- RAG Command R+:lla tai Qwen3:lla + BGE-M3/E5/Jina
Kohdekuormitukset
- Inferenssiyhdyskäytävä 50-200 käyttäjän organisaatiolle (70B Q4-Q6, 4-8 samanaikaista istuntoa)
- Diffuusio- ja videoeräputki (SDXL + FLUX.1 + Wan 2.2 yön yli)
- LoRA/QLoRA-hienosäätölaboratorio 7-34B toimialasovituksiin
- RAG-dokumenttiavustaja (Qwen3-VL + BGE-M3 + Command R, 32k konteksti)
- Monikäyttö yhdessä laitteessa: chat + kuva + ASR + reaaliaikainen puhe osioidulla VRAM-muistilla
Mitattu suorituskyky
Kentino-testi | 2026-04-10 | 4x RTX 4090 + EPYC 7542 + ROMED8-2T
| Testi | Tulos |
|---|---|
| Jatkuva laskentateho (fp16) | 647.7 TFLOPS |
| vLLM Llama 3.3 70B AWQ INT4 (yksittäin) | 8.0 tok/s |
| vLLM Llama 3.3 70B AWQ INT4 (batch-32) | 179.3 tok/s yhteensä |
| llama.cpp Llama 3.3 70B Q4_K_M (yksittäin) | 20.3 tok/s |
| Kehotteen arviointi | 1 568 tok/s |
| GPU-muistikaistanleveys | 920 GB/s korttia kohden |
| NVMe luku/kirjoitus | 4 589 / 4 213 MB/s |
| Huippulämpötila (GPU+CPU-rasitus) | 73 C, 0.6% pudotus |
vLLM käytti awq-ydintä — awq_marlin-ytimellä 2-3x mahdollinen.
Ei ihanteellinen
- Frontier-luokan 100B+ tiheät mallit bf16-tarkkuudella (DeepSeek V3/R1, GLM-4.5+, Kimi-K2, Mistral Large 3 — vaativat 256+ GB VRAM)
- Koulutukseen alusta alkaen (kuluttajaluokan RTX 4090 -korteista puuttuu NVLink)
Takuu ja toimitusaika
Toimitukseen sisältyy kokoonpano, BIOS-määritys, ajurien asennus, rasitustestaus ja toiminnallinen varmennus. Toimitusaika riippuu komponenttien saatavuudesta ja vahvistetaan tilattaessa.
Suositellut lisävarusteet
- RAM-päivitys 512 GB:hen (lisää 4x 64 GB DDR4 — neljä DIMM-paikkaa vapaana)
- 4 TB NVMe -lisälevy datan ja mallien välivarastointiin
- 24U avoin kaappi usean palvelimen käyttöönottoihin
Kysymykset, joita ostajat kysyvät meiltä useimmin ennen palvelimen tilaamista.
Kauanko se kestää?
Varastossa olevista komponenteista rakennetut koneet toimitetaan nopeasti; tiettyä GPU-sukupolvea vaativien koneiden toimitus riippuu saatavuudesta. Annamme päivämäärän ennen maksua, ja jos se muuttuu, kerromme siitä itse emmekä anna sen tulla yllätyksenä.
Voiko kokoonpanoa muuttaa ennen rakentamista?
Lähes aina. GPU:t, muisti, tallennustila ja jäähdytys valitaan tilauskohtaisesti, ja listattu kokoonpano on lähtökohta eikä kiinteä paketti. Jos tarvitaan enemmän VRAM:ia, nopeampaa tallennusta tai erilaista jäähdytysratkaisua, kerro siitä ennen tilausta, niin teemme muutoksesta tarjouksen.
Voiko palvelimen noutaa itse?
Voi. Varastomme sijaitsee Prahassa, ja nouto paikan päältä on tervetullut — useimmat noutajat käyttävät käynnin hyväkseen, käyvät koneen läpi insinöörimme kanssa ja kysyvät ne kysymykset, jotka ovat sähköpostitse hankalia. Tšekin tasavallan sisäisissä tilauksissa pyrimme myös toimittamaan laitteen henkilökohtaisesti ja käymään asennuksen läpi paikan päällä.
Voinko keskustella jonkun kanssa, joka oikeasti ymmärtää kuormituksen?
Kyllä. Meillä on nimenomaan AI-järjestelmiin erikoistunut insinööri, ei yleistä myyntipalvelua. Jos kysymys koskee eräkokoja, kvantisointia, väyläratkaisuja tai sitä, missä pullonkaula tulee vastaan, kysy — se keskustelu yleensä parantaa kokoonpanoa.
Mitä mallia tällä kokoonpanolla voi ajaa?
Kyllä. Jokainen kone kootaan, rasitustestataan ja testataan todellisilla AI-kuormituksilla ennen toimitusta, ja se lähtee meiltä LLM valmiiksi asennettuna ja käynnissä. Kone kytketään virtaan ja verkkoon, ja työt voi aloittaa — jäljelle jää vain päätös siitä, mikä projekti ajetaan ensin.
Miten palvelin testataan ennen toimitusta?
Testaamme laitteen todellisilla AI-kuormituksilla synteettisten pisteiden sijaan: inferenssiläpäisy, käyttäytyminen jatkuvassa kuormassa ja lämpötilat yhtäjaksoisessa käytössä. Benchmark-tulokset toimitetaan koneen mukana, joten luvattu suorituskyky on todennettavissa ensimmäisestä päivästä lähtien.
Onko palvelin käyttövalmis saapuessaan?
Kyllä. Jokainen kone kootaan, rasitustestataan ja testataan todellisilla AI-kuormituksilla ennen toimitusta, ja se lähtee meiltä LLM valmiiksi asennettuna ja käynnissä. Kone kytketään virtaan ja verkkoon, ja työt voi aloittaa — jäljelle jää vain päätös siitä, mikä projekti ajetaan ensin.
Toimitus EU-varastostamme. Raskaat tuotteet voivat vaatia rahtijärjestelyjä — pyydä toimitustarjous ja toimitusaika. 2 vuoden rajoitettu takuu ja ennakkovaihto-RMA-tuki; jatkettu takuu saatavilla.
Etkö löytänyt juuri sitä, mitä tarvitset?
Kerro kuormituksesi, niin määrittelemme alustan sen ympärille — GPU:t, muisti, tallennustila ja jäähdytys sovitettuna todelliseen käyttöön.