Kentino AI 96 Rome L40 724TOPS — 2x NVIDIA L40 ECC -tuotantoinferenssipalvelin
Yritystason alusta, koottu ja testattu EU:ssa.
Kentino AI 96 Rome L40 724TOPS
2x L40 ECC -tuotantopalvelin
96 GB ECC VRAM | EPYC Milan | 724 TOPS INT8
Yritystason ECC-lähtömalli 24/7-käyttöön — 2x passiivinen L40, 96 GB:n ECC VRAM -pooli, konesalitason vaihtoehto 4090-luokalle säänneltyihin käyttöönottoihin.
Kahden GPU:n tuotantoluokan inferenssipalvelin, joka perustuu ROMED8-2T / EPYC Milan -alustaan ja kahteen passiiviseen NVIDIA L40 -korttiin. 96 GB:n ECC GDDR6 -pooli tarjoaa saman VRAM-kapasiteetin kuin 4x RTX 4090 -työjuhta, mutta täydellä konesalisertifioinnilla, ECC-muistilla jokaisessa kortissa ja jatkuvaan 24/7-käyttöön mitoitetulla lämpösuunnittelulla. Oikea valinta silloin, kun RTX 4090 herättäisi kysymyksiä takuusta, luotettavuudesta tai vaatimustenmukaisuudesta — rahoitus, terveydenhuolto, formaali verifiointi sekä kaikki jatkuvan tuotantokäytön LLM- / VLM-palvelut.
Laitteisto
| Komponentti | Tiedot |
|---|---|
| GPU:t | 2x NVIDIA L40 48 GB GDDR6 ECC (Ada Lovelace, passiivinen, 300 W, kahden paikan, PCIe 4.0 x16) |
| VRAM-pooli | 96 GB ECC (ei NVLinkiä) |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x PCIe 4.0 -linjaa) |
| Emolevy | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Järjestelmän RAM | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Käynnistys / tallennus | 1 TB NVMe M.2 (PCIe 4.0 x4) |
| Virtalähde | Yksi 2 kW:n ATX-virtalähde |
| Kotelo | 4U-räkkiasennus, passiiviset Gen4 x16 -riserit |
| Jäähdytys | SP3-tornijäähdytin (Arctic Freezer 4U-M), 3x 120 mm etuimu + 1x 120 mm takapoisto |
| Verkko | Integroitu kaksois-10 GbE (Intel X550) + IPMI |
Tehobudjetti
- GPU-kulutus: 2 x 300 W = 600 W
- Järjestelmä yhteensä täydellä kuormalla: ~925 W
- Virtalähde yhteensä: 2 000 W — 53.8 % varaa
- Reilu marginaali yhdellä virtalähteellä, hiljainen toiminta
Linjatopologia
PCIe Gen4 x16 molemmille GPU:ille (L40 on natiivisti Gen4 x16). 16 linjaa suoraan CPU:n root complexista — ei PCIe-kytkintä. L40:ssä ei ole NVLinkiä — GPU:iden välinen liikenne kulkee PCIe P2P:n kautta. 864 GB/s muistikaistaa per kortti.
Mitä sillä voi ajaa
96 GB:n ECC VRAM:lla kahdessa passiivisessa L40-kortissa tämä palvelin hoitaa yritystason 24/7 LLM-palvelun, säännellyt käyttöönotot, kuvien ja videoiden generoinnin sekä monivuokralaisinferenssin silloin, kun ECC-luotettavuus ja konesalitakuu ovat tärkeitä.
LLM:t — teksti / päättely / koodaus
Kiinalaiset huippumallit
- Qwen3-32B bf16 yhdellä L40-GPU:lla, 32k ctx -varaa jää (~18-22 tok/s yhdellä virralla L40:llä, julkaistu vertailuarvo)
- Qwen3.5-27B bf16; Qwen3-30B-A3B / Qwen3-Coder-30B-A3B bf16 (~60 GB) 256k ctx
- Qwen3.5-122B-A10B Q4 (~70 GB) — MoE-lippulaiva, pitkä ctx
- QwQ-32B bf16; Hunyuan-A13B Q6 (~48 GB)
- DeepSeek-R2 32B harva MoE bf16 — toimii yhdellä GPU:lla, kaksi rinnakkaista virtaa
- GLM-4.5-Air 106B/12B Q4-Q5 (60-70 GB mahtuu väljästi)
- Seed-OSS-36B bf16 — 512k natiivi ctx; ERNIE-4.5-47B-A3B Q6-Q8
- Baichuan-M2-32B bf16 (lääketieteellinen päättely — ECC:stä on tässä etua)
Länsimaiset huippumallit
- Llama 3.3 70B Q6 (~58 GB) KV-varalla; Q4_K_M (~43 GB) erittäin pitkä ctx (~15-18 tok/s yhdellä virralla 2x L40:llä, julkaistu vertailuarvo)
- Hermes 3 70B / Tulu 3 70B Q4-Q6; Llama 4 Scout 109B/17B MoE Q4 (~63 GB)
- Mistral Small 3 / Magistral Small 1.2 / Devstral Small 2 (24B) bf16; Mixtral 8x22B Q3-Q4
- gpt-oss-120b MXFP4 (~80 GB) KV-varalla
- Gemma 3 27B multimodaalinen bf16, 128k ctx
- Phi-4 14B / Phi-4-reasoning / Phi-4-multimodal bf16
- Nemotron-Super 49B Q6-Q8; IBM Granite 4.0 H-Small 32B/9B — yritystason vaatimustenmukaisuus
- Reka Flash 3 21B bf16; OLMo 2 32B / OLMo 3.1-32B-Think bf16
Visio-kielimallit
Qwen3-VL-8B / 32B, Qwen3-VL-30B-A3B MoE, Qwen3-Omni-30B-A3B; InternVL3 enintään 78B Q4 (~48 GB); InternVL3.5-38B bf16; DeepSeek-VL2; ERNIE-4.5-VL-28B-A3B-Thinking; Llama 3.2 11B Vision bf16; Pixtral 12B bf16; Gemma 3 12B / 27B multimodaalinen; PaliGemma 2 (3/10/28B); MiniCPM-V 2.6 / MiniCPM-o 2.6; GLM-4.6V-Flash; Molmo 72B Q4; Aya Vision 32B.
Kuvien generointi
L40:ssä on Ada-tensoriytimet ja 864 GB/s muistikaistaa per kortti — vankka valinta tuotannon kuvaputkiin: FLUX.1 [dev] / [schnell] fp16 (~24 GB) tai fp8 (~12 GB) (~15-25 sekuntia per 1024x1024-kuva fp8:lla, julkaistu vertailuarvo); FLUX.1 Kontext [dev]; FLUX Tools (Fill / Depth / Canny / Redux); SD 3.5 Large (18 GB fp16 / 11 GB fp8); SDXL 1.0 + ControlNet + AnimateDiff; HunyuanImage-2.1 bf16 (~34 GB); Kolors 2.0; AuraFlow v0.3; OmniGen v1; PixArt-Sigma.
Videoiden generointi
HunyuanVideo 13B bf16 mahtuu yhdelle L40:lle lyhyillä 720p-klipeillä; Wan 2.2 T2V-A14B / I2V-A14B bf16 (~54 GB) 2-suuntaisena tensor-parallel-ajona; Wan 2.2 TI2V-5B bf16 korttikohtaisesti; Wan 2.1 14B fp8 / bf16; HunyuanVideo 1.5 (8.3B) bf16; Open-Sora 2.0 (11B) bf16; CogVideoX-5B / 1.5 bf16; Mochi-1 bf16 (~42 GB); LTX-Video 2B; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.
Ääni / puhe / TTS
- ASR: Whisper v3 large / turbo (~50x reaaliaikainen yhdellä GPU:lla, julkaistu vertailuarvo); Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2 / Fun-CosyVoice 3.0; Kokoro 82M; Stable Audio Open; Coqui XTTS v2; StyleTTS 2; Step-Audio-EditX
- Reaaliaikainen / S2S: Kyutai Moshi (200 ms:n viive, full-duplex); Step-Audio 2 mini / R1 / R1.1; Qwen2.5-Omni-7B
- Musiikki / SFX / käännös: MusicGen; AudioGen; Suno Bark; SeamlessM4T v2; MMS
Usean mallin ja usean vuokralaisen palvelu
- 4-8 samanaikaista käyttäjää 32-70B-luokan LLM-malleilla vLLM:n tensor-parallel-tilassa tai korttikohtaisesti jaettuna
- Sekapino: Qwen3-32B + FLUX.1 + Whisper-turbo + Moshi muistissa samanaikaisesti jaetulla VRAM:lla
- LoRA-inferenssi + 7-14B-mallien kevyt hienosäätö; täysi parametrikoulutus mahdollinen pienemmillä malleilla
- RAG-putket: Command R / Qwen3 + BGE-M3 / E5 / Jina -upotukset
Kohdekuormitukset
- Yritystason 24/7 LLM-palvelu — 70B Q4-Q6, Qwen3-32B bf16, Mistral Small 3 bf16
- Säännellyt käyttöönotot, jotka edellyttävät ECC-muistia (rahoitus, terveydenhuolto, formaali verifiointi)
- Pitkän kontekstin palvelu — Seed-OSS-36B 512k ctx mahtuu väljästi 96 GB:n pooliin
- Keskiluokan MoE-palvelu — Hunyuan-A13B Q6, GLM-4.5-Air Q4, Qwen3-30B-A3B bf16
- VLM-dokumenttien käsittely — InternVL3.5-38B, Pixtral 12B bf16, Qwen3-VL-32B
Julkaistut suorituskykyvertailut
Julkaistu vertailuarvo | 2x NVIDIA L40 -vastaava laitteisto
| Testi | Tulos |
|---|---|
| Llama 3.3 70B Q4_K_M jaettuna 2x L40:lle (tensor-split) | ~15-18 tok/s, yksi virta |
| Qwen3-32B bf16 yhdellä L40-GPU:lla | ~18-22 tok/s, yksi virta |
| vLLM Hunyuan-A13B Q6 2x L40 -poolilla | ~28-34 tok/s, yksi virta |
| HunyuanVideo 13B bf16 yhdellä L40:llä | lyhyt 720p-klippi — mahtuu 48 GB:hen |
| Korttikohtaiset arvot | 362 TOPS INT8, 864 GB/s, 300 W TDP |
Julkaistu arvo, ei mitattu Kentinon laitteistolla.
Ei ihanteellinen
- TFLOPS-kohtaisen kustannuksen optimointi — 4x RTX 4090 tarjoaa yhteensä 2 644 TOPS noin 40 %:lla komponenttikustannuksista (ilman ECC:tä / konesalitakuuta)
- Yli 200B:n tiheät huippumallit — 96 GB:n pooli asettaa katon (tarvitaan 192+ GB:n malli)
- Pitkien täyden resoluution videoiden generointi bf16:lla (Wan 2.2 MoE two-expert vaatii enemmän VRAM:ia)
- Koulutus alusta alkaen — L40 on sertifioitu inferenssiin; koulutukseen sopii RTX Pro 6000 / Blackwell-työasema
Takuu ja toimitusaika
NVIDIA OEM:n 3 vuoden konesalitakuu L40-korteille + Kentinon integraatiotakuu (osat 2 vuotta, työ 1 vuosi). Toimitukseen sisältyy kokoonpano, BIOS-konfigurointi, ajureiden asennus, burn-in-testaus ja toiminnallinen tarkastus.
Suositellut lisävarusteet
- Päivitys 4x L40:een (Kentino AI 192 Rome L40 1448TOPS): 192 GB:n ECC-pooli ja huippuluokan mallien palvelu
- RAM-päivitys 512 GB:hen (lisäksi 4x 64 GB DDR4) suuremmille embedding- / reranker-pinoille
- NVMe-päivitys 4 TB:hen mallikirjastolle ja datasettien valmistelulle
- Redundantti virtalähde (kaksi synkronoitua 2 kW:n yksikköä) saatavilla pyynnöstä
- Räkki-PDU + 3 kVA:n online-UPS tuotannon colocation-käyttöön
Kysymykset, joita ostajat kysyvät meiltä useimmin ennen palvelimen tilaamista.
Kauanko se kestää?
Varastossa olevista komponenteista rakennetut koneet toimitetaan nopeasti; tiettyä GPU-sukupolvea vaativien koneiden toimitus riippuu saatavuudesta. Annamme päivämäärän ennen maksua, ja jos se muuttuu, kerromme siitä itse emmekä anna sen tulla yllätyksenä.
Voiko kokoonpanoa muuttaa ennen rakentamista?
Lähes aina. GPU:t, muisti, tallennustila ja jäähdytys valitaan tilauskohtaisesti, ja listattu kokoonpano on lähtökohta eikä kiinteä paketti. Jos tarvitaan enemmän VRAM:ia, nopeampaa tallennusta tai erilaista jäähdytysratkaisua, kerro siitä ennen tilausta, niin teemme muutoksesta tarjouksen.
Voiko palvelimen noutaa itse?
Voi. Varastomme sijaitsee Prahassa, ja nouto paikan päältä on tervetullut — useimmat noutajat käyttävät käynnin hyväkseen, käyvät koneen läpi insinöörimme kanssa ja kysyvät ne kysymykset, jotka ovat sähköpostitse hankalia. Tšekin tasavallan sisäisissä tilauksissa pyrimme myös toimittamaan laitteen henkilökohtaisesti ja käymään asennuksen läpi paikan päällä.
Voinko keskustella jonkun kanssa, joka oikeasti ymmärtää kuormituksen?
Kyllä. Meillä on nimenomaan AI-järjestelmiin erikoistunut insinööri, ei yleistä myyntipalvelua. Jos kysymys koskee eräkokoja, kvantisointia, väyläratkaisuja tai sitä, missä pullonkaula tulee vastaan, kysy — se keskustelu yleensä parantaa kokoonpanoa.
Mitä mallia tällä kokoonpanolla voi ajaa?
Kyllä. Jokainen kone kootaan, rasitustestataan ja testataan todellisilla AI-kuormituksilla ennen toimitusta, ja se lähtee meiltä LLM valmiiksi asennettuna ja käynnissä. Kone kytketään virtaan ja verkkoon, ja työt voi aloittaa — jäljelle jää vain päätös siitä, mikä projekti ajetaan ensin.
Miten palvelin testataan ennen toimitusta?
Testaamme laitteen todellisilla AI-kuormituksilla synteettisten pisteiden sijaan: inferenssiläpäisy, käyttäytyminen jatkuvassa kuormassa ja lämpötilat yhtäjaksoisessa käytössä. Benchmark-tulokset toimitetaan koneen mukana, joten luvattu suorituskyky on todennettavissa ensimmäisestä päivästä lähtien.
Onko palvelin käyttövalmis saapuessaan?
Kyllä. Jokainen kone kootaan, rasitustestataan ja testataan todellisilla AI-kuormituksilla ennen toimitusta, ja se lähtee meiltä LLM valmiiksi asennettuna ja käynnissä. Kone kytketään virtaan ja verkkoon, ja työt voi aloittaa — jäljelle jää vain päätös siitä, mikä projekti ajetaan ensin.
Toimitus EU-varastostamme. Raskaat tuotteet voivat vaatia rahtijärjestelyjä — pyydä toimitustarjous ja toimitusaika. 2 vuoden rajoitettu takuu ja ennakkovaihto-RMA-tuki; jatkettu takuu saatavilla.
Etkö löytänyt juuri sitä, mitä tarvitset?
Kerro kuormituksesi, niin määrittelemme alustan sen ympärille — GPU:t, muisti, tallennustila ja jäähdytys sovitettuna todelliseen käyttöön.