Kentino AI 288 Rome L40 — 6× NVIDIA L40 Passive Enterprise (288 GB ECC VRAM)
Yritystason alusta, koottu ja testattu EU:ssa.
Kentino AI 288 Rome L40 2172TOPS
288 GB:n ECC VRAM -yrityspalvelin
6x NVIDIA L40 Passive | EPYC Milan | 2 172 TOPS INT8
Julkaistut ulkoiset viitearvot. Ei mitattu Kentinon laitteistolla.
4U:n räkkiasennettava yritystason inferenssipalvelin, jossa on kuusi passiivista NVIDIA L40 Ada Lovelace -konesalikorttia (kukin 48 GB ECC), yhteensä 288 GB ECC VRAM -muistia, yksi AMD EPYC 7643 Milan -suoritin (48C/96T), 384 GB DDR4-2666 ECC, 2 TB NVMe-käynnistyslevy sekä kaksi synkronoitua 2.5 kW:n ATX-virtalähdettä. ECC päästä päähän – suunniteltu 24/7-yritystuotantoon, jossa bittitason eheys ja huollettavat vikaantumisalueet ovat ratkaisevia.
Laitteisto
| Komponentti | Tiedot |
|---|---|
| GPU:t | 6x NVIDIA L40 48 GB ECC (Ada Lovelace, passiivinen konesalikortti, 300 W, PCIe 4.0 x16, kaksipaikkainen, 362 INT8 TOPS/kortti) |
| VRAM-pooli | Yhteensä 288 GB ECC-muistia 6 kortissa (L40 PCIe -mallissa ei NVLinkiä) |
| Suoritin | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x PCIe 4.0 -linjaa) |
| Emolevy | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Järjestelmän RAM | 384 GB DDR4-2666 ECC RDIMM (6x 64 GB – 2 DIMM-paikkaa vapaana päivitykseen 512 GB:hen) |
| Käynnistys / tallennustila | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Virtalähde | 2x 2.5 kW ATX ja kahden virtalähteen synkronointikaapeli (yhteensä 5 kW) |
| Kotelo | 4U räkkiasennus (6 paikan asettelu) |
| Jäähdytys | SP3-tornijäähdytin (Arctic Freezer 4U-M -luokka) + edestä taakse ohjattu ilmavirta (teollisuustuulettimet) |
| Verkko | Integroitu kaksois-10 GbE (Intel X550) |
Tehobudjetti
- GPU-kulutus: 6 x 300 W = 1 800 W
- Järjestelmä yhteensä täydellä kuormalla: ~2 175 W
- Virtalähteet yhteensä: 5 000 W (kaksi synkronoitua 2.5 kW) – 56.5% varaa
- Kaksi virtalähdettä jaettuun tehonsyöttöön – yhden virtalähteen vikaantuminen = 2 GPU:n tai 2 GPU:n + emolevyn menetys
Linjatopologia
ROMED8-2T tarjoaa 7x PCIe 4.0 x16 -paikkaa suoraan EPYC Milanilta. Kuusi paikkaa on varustettu passiivisilla Gen4 x16 -jatkokaapeleilla – yksi paikka jää vapaaksi verkkokortille tai tallennukselle. PCIe-kytkintä ei tarvita. L40:n natiivi linkki on PCIe 4.0 x16 – kaistanleveys ei heikkene. Ei NVLinkiä; GPU:iden välinen liikenne kulkee PCIe peer-to-peer -yhteydellä.
Mitä palvelimella voi ajaa
Kuuden passiivisen L40-kortin yhteensä 288 GB:n ECC VRAM -muistilla palvelin pyörittää huippuluokan open-weight-LLM-malleja Q4-tarkkuudella, useiden mallien rinnakkaista palvelua, video- ja mediaputkia sekä 24/7-tuotantoinferenssiä. Huom.: L40 on Ada Lovelace -arkkitehtuuria, ei Blackwellia – fp8 muunnetaan bf16:ksi. Paras VRAM-tehokkuus saavutetaan GGUF Q4/Q5- tai AWQ/GPTQ int4 -kvantisoinnilla.
LLM:t – teksti / päättely / koodaus
Kiinalaiset huippumallit
- Qwen3-235B-A22B Q4 (~132 GB) erittäin pitkällä kontekstilla ja runsaalla KV-budjetilla (~15-20 tok/s yksittäinen, julkaistu viitearvo)
- GLM-4.5 / 4.6 / 4.7 Q4 (~177 GB) mukavasti 6-tie-TP:llä (~12-18 tok/s yksittäinen, julkaistu viitearvo)
- Hunyuan-Large 389B/52B Q3 (~160 GB); ERNIE-4.5-424B-A47B Q3 (~180 GB)
- Qwen3-Coder-480B-A35B Q2 (~160 GB) lippulaivatason koodausagentti
- MiniMax-M1 / Text-01 Q3 (~180 GB) 1M-konteksti, Lightning Attention
- Qwen3-30B-A3B / QwQ-32B / Qwen3-32B – yksi kortti, 6 rinnakkaista virtaa
- DeepSeek-R2 32B harva MoE – yksi kortti virtaa kohden, 6 samanaikaista istuntoa
Länsimaiset huippumallit
- Llama 3.3 70B bf16 (~142 GB) monivuokralaispalvelu (~17 tok/s yksittäinen, julkaistu viitearvo) tai Q4 (~43 GB) 6 samanaikaisella kopiolla
- Llama 4 Scout 109B/17B bf16 (~218 GB, tiukka) tai Q4 (~63 GB) mukavasti
- Mistral Small 3 / Magistral / Devstral Small (24B) bf16 (~40-50 tok/s yksittäinen, julkaistu viitearvo)
- Pixtral Large / Mistral Large 2 Q6-Q8 (~90-140 GB)
- Llama-3.1-Nemotron Ultra 253B Q4 (~119 GB)
- gpt-oss-120b MXFP4 (~80 GB GGUF:n kautta Adalla – huomioi Adan muunnosrajoite)
- Cohere Command R+ 104B Q4 RAG-pino
Visio-kielimallit
Qwen3-VL-235B-A22B Q4; Qwen3-VL-32B; InternVL3.5-78B / 241B-A28B Q4 (~135 GB); Llama 3.2 90B Vision bf16 (~180 GB); Pixtral 12B; Molmo 72B; Gemma 3 12B/27B multimodaalinen; GLM-4.6V täysi (106B bf16); MiniCPM-o 2.6. L40:n NVENC/NVDEC on erityisen hyödyllinen suuren läpäisyn VLM-dokumentti- ja videoputkissa.
Kuvien generointi
FLUX.1 [dev] / Kontext / Tools useilla rinnakkaisilla workereilla (~3.5 s per 1024x1024-kuva yhdellä L40:llä fp8, julkaistu viitearvo) – 6x ComfyUI-workerfarmi mahdollinen; SD 3.5 Large; HunyuanImage-2.1 (17B) bf16; HunyuanDiT; Kolors 2.0; AuraFlow; OmniGen.
Videon generointi
Wan 2.2 T2V-A14B / I2V-A14B kahden asiantuntijan bf16 (~54 GB, ~20-30 s per 4 s:n leike 720p:llä, julkaistu viitearvo); HunyuanVideo 13B bf16 molemmat asiantuntijat; Open-Sora 2.0 bf16; CogVideoX-5B; Mochi-1; LTX-Video; Pyramid Flow; NVIDIA Cosmos Predict 2. L40:n laitteistopohjainen NVENC/NVDEC hoitaa tekstityksen, moderoinnin ja transkoodauksen laajassa mittakaavassa generoinnin rinnalla.
Ääni / puhe / TTS
- ASR: Whisper v3 large / turbo; Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2/3; Kokoro 82M; Stable Audio Open; XTTS v2; Step-Audio-EditX
- Reaaliaikainen / S2S: Kyutai Moshi; Step-Audio 2 mini / R1; Qwen2.5-Omni-7B
Usean mallin / usean vuokralaisen palvelu
- Usean mallin samanaikainen residenssi – Qwen3-235B Q4 + FLUX.1 + HunyuanVideo + Whisper-turbo + Moshi + upotusmalli, kaikki muistissa
- 6 samanaikaista 48 GB -luokan kuormitusta (yksi per kortti): 6x Qwen3-VL-32B, 6x FLUX.1-workeria tai 6x ASR-virtaa
- 6-tie-tensoririnnakkaisuus 200B+ MoE -malleille Q4-tarkkuudella ja todellisella kontekstilla
- RAG-putket – Command R+ / Qwen3 + uudelleenjärjestäjä + upotusmalli + kuva-analyysi samalla palvelimella
Kohdekuormitukset
- 24/7-tuotannon LLM-inferenssitaustajärjestelmä – yli 100 samanaikaista käyttäjää 200B+ MoE -malleilla Q4-tarkkuudella, ECC-suojattu
- Media-AI-putki yritystasolla – tekstitys + moderointi + pikkukuvat + transkoodaus 6 rinnakkaisessa virrassa NVENC/NVDEC:n avulla
- Monivuokralainen SaaS, jossa vuokralaiskohtainen eristys fyysisten korttien välillä on tärkeää
- RAG-taustajärjestelmä, jossa Command R+ -lukija + uudelleenjärjestäjä + upotusmalli + visio ovat kokonaan muistissa
- Luotettavuus edellä: pari korvaa 12x L40 Legacyn – kaksi Kentino AI 288 -palvelinta = yhteensä 576 GB ja toisistaan riippumattomat vikaantumisalueet
Julkaistut suorituskykyviitteet
Ulkoiset viitearvot | Ei mitattu Kentinon laitteistolla
| Testi | Tulos |
|---|---|
| L40 INT8 TOPS per kortti | 362 TOPS |
| L40:n muistikaistanleveys | 864 GB/s per kortti |
| vLLM – Llama 3.3 70B AWQ INT4, 2x L40 TP (yksittäinen) | ~25-35 tok/s |
| vLLM – Llama 3.3 70B AWQ INT4, 2x L40 TP (erä-16) | ~150-200 tok/s yhteensä |
| llama.cpp – GLM-4.6 Q4, 6x L40 (yksittäinen) | ~12-18 tok/s |
| FLUX.1 [dev] yhdellä L40:llä fp8 | ~3.5 s per 1024x1024-kuva |
Kentino julkaisee omat mittaustulokset ensimmäisen asiakaskokoonpanon jälkeen.
Ei ihanteellinen
- fp8-natiivi inferenssi täydellä nopeudella – Ada muuntaa bf16:ksi; käytä sen sijaan GGUF Q4/Q5- tai AWQ/GPTQ int4 -kvantisointia. Natiiviin fp8:aan katso Kentino AI 384 Rome RTXPro6000 (Blackwell)
- Suurten mallien koulutus alusta alkaen (ei NVLinkiä)
- Edullinen yhden käyttäjän inferenssi – 4x L4 tai 4x 5080 on selvästi edullisempi pienille kuormituksille
- Yli 600B:n tiheät huippumallit Q4+-tarkkuudella (vaativat 576 GB+ poolin – katso 6x RTX Pro 6000)
Takuu ja toimitusaika
Kokoonpano sisältää asennuksen, BIOS-määrityksen, ajurien asennuksen, burn-in-testauksen, muistitestin ja toiminnallisen tarkastuksen. Toimitusaika riippuu komponenttien saatavuudesta ja vahvistetaan tilauksen yhteydessä.
Suositellut lisävarusteet
- RAM-päivitys 512 GB:n DDR4-muistiin (lisää 2x 64 GB – 2 DIMM-paikkaa vapaana) suurempaa KV-budjettia varten
- 4 TB NVMe Gen4 x4 mallikirjaston välivarastointiin
- Täysi 24U-räkkikaappi hallittavalla PDU:lla + online-UPS (kriittinen 24/7-ECC-kuormituksille)
- Toinen Kentino AI 288 -yksikkö pariksi – korvaa 12x L40 Legacyn kahdella riippumattomalla vikaantumisalueella
Kysymykset, joita ostajat kysyvät meiltä useimmin ennen palvelimen tilaamista.
Kauanko se kestää?
Varastossa olevista komponenteista rakennetut koneet toimitetaan nopeasti; tiettyä GPU-sukupolvea vaativien koneiden toimitus riippuu saatavuudesta. Annamme päivämäärän ennen maksua, ja jos se muuttuu, kerromme siitä itse emmekä anna sen tulla yllätyksenä.
Voiko kokoonpanoa muuttaa ennen rakentamista?
Lähes aina. GPU:t, muisti, tallennustila ja jäähdytys valitaan tilauskohtaisesti, ja listattu kokoonpano on lähtökohta eikä kiinteä paketti. Jos tarvitaan enemmän VRAM:ia, nopeampaa tallennusta tai erilaista jäähdytysratkaisua, kerro siitä ennen tilausta, niin teemme muutoksesta tarjouksen.
Voiko palvelimen noutaa itse?
Voi. Varastomme sijaitsee Prahassa, ja nouto paikan päältä on tervetullut — useimmat noutajat käyttävät käynnin hyväkseen, käyvät koneen läpi insinöörimme kanssa ja kysyvät ne kysymykset, jotka ovat sähköpostitse hankalia. Tšekin tasavallan sisäisissä tilauksissa pyrimme myös toimittamaan laitteen henkilökohtaisesti ja käymään asennuksen läpi paikan päällä.
Voinko keskustella jonkun kanssa, joka oikeasti ymmärtää kuormituksen?
Kyllä. Meillä on nimenomaan AI-järjestelmiin erikoistunut insinööri, ei yleistä myyntipalvelua. Jos kysymys koskee eräkokoja, kvantisointia, väyläratkaisuja tai sitä, missä pullonkaula tulee vastaan, kysy — se keskustelu yleensä parantaa kokoonpanoa.
Mitä mallia tällä kokoonpanolla voi ajaa?
Kyllä. Jokainen kone kootaan, rasitustestataan ja testataan todellisilla AI-kuormituksilla ennen toimitusta, ja se lähtee meiltä LLM valmiiksi asennettuna ja käynnissä. Kone kytketään virtaan ja verkkoon, ja työt voi aloittaa — jäljelle jää vain päätös siitä, mikä projekti ajetaan ensin.
Miten palvelin testataan ennen toimitusta?
Testaamme laitteen todellisilla AI-kuormituksilla synteettisten pisteiden sijaan: inferenssiläpäisy, käyttäytyminen jatkuvassa kuormassa ja lämpötilat yhtäjaksoisessa käytössä. Benchmark-tulokset toimitetaan koneen mukana, joten luvattu suorituskyky on todennettavissa ensimmäisestä päivästä lähtien.
Onko palvelin käyttövalmis saapuessaan?
Kyllä. Jokainen kone kootaan, rasitustestataan ja testataan todellisilla AI-kuormituksilla ennen toimitusta, ja se lähtee meiltä LLM valmiiksi asennettuna ja käynnissä. Kone kytketään virtaan ja verkkoon, ja työt voi aloittaa — jäljelle jää vain päätös siitä, mikä projekti ajetaan ensin.
Toimitus EU-varastostamme. Raskaat tuotteet voivat vaatia rahtijärjestelyjä — pyydä toimitustarjous ja toimitusaika. 2 vuoden rajoitettu takuu ja ennakkovaihto-RMA-tuki; jatkettu takuu saatavilla.
Etkö löytänyt juuri sitä, mitä tarvitset?
Kerro kuormituksesi, niin määrittelemme alustan sen ympärille — GPU:t, muisti, tallennustila ja jäähdytys sovitettuna todelliseen käyttöön.