Kentino AI 192 Rome L40 1448TOPS — 4× NVIDIA L40 — EPYC Milan
Yritystason alusta, koottu ja testattu EU:ssa.
Kentino AI 192 Rome L40 1448TOPS
192 GB:n ECC-päättelypalvelin yrityskäyttöön
4x NVIDIA L40 passiivinen | EPYC Milan | 1 448 TOPS INT8
Neljä passiivista L40-konesalikorttia ECC-muistilla. Sama 192 GB:n muistipooli kuin 8x RTX 4090 -kokoonpanossa — mutta konesalitasoinen, ECC-suojattu ja OEM-takuulla.
4U-räkkiin asennettava päättelypalvelin, jossa neljä passiivista NVIDIA L40 -korttia yhdistettynä 192 GB:n ECC VRAM -muistiksi, yksi AMD EPYC 7643 Milan -suoritin (48C/96T), 256 GB DDR4 ECC, 2 TB NVMe -käynnistyslevy ja kaksi synkronoitua 2 kW:n ATX-virtalähdettä. L40 on RTX 4090:n konesaliversio — passiivijäähdytteinen, ECC-muistilla varustettu, NVENC/NVDEC-laitteistokooderit suoraan sirulla ja NVIDIA OEM -takuu 3 vuotta. vLLM, SGLang, llama.cpp, Triton ja TensorRT-LLM toimivat suoraan.
Laitteisto
| Komponentti | Tiedot |
|---|---|
| GPU:t | 4x NVIDIA L40 48 GB ECC GDDR6 (Ada Lovelace, passiivinen, 300 W, kaksipaikkainen, PCIe 4.0 x16) |
| VRAM-pooli | 192 GB ECC 4 kortilla (L40:ssä ei NVLinkiä) |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x PCIe 4.0 -linjaa) |
| Emolevy | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Keskusmuisti | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Käynnistys / tallennus | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Virtalähde | Kaksi 2 kW:n ATX-virtalähdettä synkronointikaapelilla |
| Kotelo | 4U-räkkikotelo, ohjattu ilmavirta edestä taakse |
| Jäähdytys | Arctic Freezer 4U-M SP3 -tornijäähdytin + 3x 120 mm etuimu + 1x 120 mm takapuhallus |
| Verkko | Integroitu kaksois-10 GbE (Intel X550) |
Tehobudjetti
- GPU-kulutus: 4 x 300 W = 1 200 W
- Järjestelmä yhteensä täydellä kuormalla: ~1 525 W
- Virtalähteet yhteensä: 4 000 W (kaksi synkronoitua 2 kW) — 61.9 % varaa
- Kaksi virtalähdettä jaettuun tehonsyöttöön ja N+1-kapasiteettiin
Linjatopologia
PCIe Gen4 x16 jokaiselle kortille (L40 on natiivisti Gen4). Suora root complex -yhteys yhdeltä EPYC-suorittimelta — ei PCIe-kytkintä. Ei NVLinkiä — GPU:iden välinen liikenne kulkee PCIe peer-to-peer -yhteydellä. Kolme x16-paikkaa jää vapaaksi verkkokortti- ja tallennuslaajennuksille.
Mitä sillä voi ajaa
192 GB:n ECC VRAM -muistilla 4 konesalikortilla tämä palvelin käsittelee 200B+ frontier-MoE-malleja Q4-tarkkuudella, yritystason monivuokralaispalvelun tiukoilla SLA-ehdoilla sekä 24/7-tuotantopäättelyn ilman bittivirheistä johtuvaa ajautumista.
LLM:t — teksti / päättely / koodaus
Kiinalaiset frontier-mallit
- Qwen3 / Qwen3.5 (Alibaba): Qwen3-235B-A22B Q4 (~132 GB) pitkällä kontekstilla — pääkokoonpano (~12-18 tok/s yksittäisvirralla 4x L40:llä); Qwen3-Coder-480B-A35B Q2 (~160 GB, tiukka); Qwen3.5-122B-A10B fp8 (~75 GB) erittäin suurella KV-välimuistilla; Qwen3-32B dense bf16 useina rinnakkaisina virtoina
- DeepSeek: DeepSeek-V3/R1/V3.1/V3.2 Q2 (~215 GB, pieni ylivuoto keskusmuistiin); DeepSeek-R2 32B — 4x rinnakkaista virtaa, yksi per kortti
- GLM / Z.ai: GLM-4.5 / 4.6 / 4.7 Q4 (~177 GB) — tämän tason optimi; GLM-4.5-Air 106B/12B fp8 tai bf16
- Tencent Hunyuan: Hunyuan-Large Q3 (~160 GB) — 389B MoE, 256k konteksti; Hunyuan-A13B fp8 (~80 GB) erittäin suurella KV-välimuistilla
- Baidu ERNIE-4.5-424B Q3 (~180 GB); InternVL3.5-241B-A28B Q4 (~135 GB); Qwen3.5-397B Q3 (~170 GB)
Länsimaiset frontier-mallit
- Meta Llama: Llama 3.3 70B bf16 erittäin suurella KV-välimuistilla (~15-18 tok/s yksittäisvirralla 4x L40:llä); Llama 4 Scout bf16 (~218 GB) tiukka; Llama 4 Maverick 400B/17B Q3 (~188 GB)
- Mistral: Mistral Large 2 / Pixtral Large / Devstral 2 123B Q6 (~102 GB) väljästi; Mistral Small 3 usealla virralla
- OpenAI (avoimet painot): gpt-oss-120b MXFP4 (80 GB) runsaalla KV-välimuistilla
- NVIDIA Nemotron: Llama-3.1-Nemotron Ultra 253B Q4 (~147 GB); Super 49B bf16 useina virtoina
- Google Gemma 3: 27B multimodaalinen bf16 — useita samanaikaisesti ladattuja virtoja
- Muut: Cohere Command R+ 104B Q6 (~85 GB); OLMo 3.1 32B; Reka Flash 3 21B; IBM Granite 4.0 H-Small
Kuva-kielimallit (VLM)
InternVL3.5-241B-A28B Q4 (~135 GB); Qwen3-VL-235B-A22B Q4; Qwen3-VL-32B bf16; Llama 3.2 90B Vision bf16 (~180 GB); Pixtral Large 124B Q6-bf16; Molmo 72B bf16; GLM-4.6V 106B fp8; Gemma 3 27B multimodaalinen useina virtoina; InternVL3 78B bf16; DeepSeek-VL2 koko mallisto.
Kuvagenerointi
FLUX.1 [dev] / [schnell] bf16 rinnakkaisella generoinnilla (~3-4 s per 1024x1024-kuva L40:llä); FLUX.1 Kontext [dev]; FLUX Tools; SD 3.5 Large bf16 x 2-3 rinnakkain; HunyuanImage-2.1 bf16 (~34 GB) usealla virralla; HunyuanImage-3.0 base (80B MoE, 13B aktiivinen) bf16 (~80 GB); HunyuanDiT; Kolors / Kolors 2.0; AuraFlow; OmniGen v1; PixArt-Sigma.
Videogenerointi
Wan 2.2 T2V-A14B / I2V-A14B MoE bf16, molemmat asiantuntijamallit, täysi konteksti; Wan 2.2 TI2V-5B nopea polku; HunyuanVideo 13B bf16 molemmat asiantuntijamallit; HunyuanVideo 1.5; CogVideoX-5B bf16; Open-Sora 2.0 11B bf16; Mochi-1 bf16 (~42 GB) usealla virralla; LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.
Ääni / puhe / TTS
- ASR: Whisper v3 large / turbo (~50x reaaliaikaa nopeampi); Parakeet-TDT; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2/3; Kokoro 82M; XTTS v2; Stable Audio Open; Step-Audio-EditX
- Reaaliaikainen / S2S: Kyutai Moshi 7B; Step-Audio 2 mini/R1; Qwen2.5-Omni-7B
- Musiikki / SFX: MusicGen / AudioGen / Bark; SeamlessM4T v2
Monimalli- ja monivuokralaispalvelu
- Yritystason LLM-tuotantoyhdyskäytävä — Qwen3-235B Q4 tai GLM-4.5/4.6 Q4 palvelee 16-32 samanaikaista käyttäjää tiukoilla SLA-ehdoilla
- Sekapino samanaikaisesti muistissa: 235B MoE + FLUX.1 + Whisper-turbo + Moshi osioidulla VRAM-muistilla ja ECC-suojauksella
- Live-video + AI-putki — NVENC/NVDEC-laitteistokooderit syöttävät 6-8 rinnakkaista tekstitys- ja moderointiputkea
- Monivuokralainen RAG — kyselypuolen upotusmalli + 70B-lukijamalli + uudelleenjärjestäjä alle sekunnin P99-viiveellä
Kohdekuormitukset
- LLM-tuotantopäättely 24/7 192 GB:n poolilla (Qwen3-235B Q4, GLM-4.5/4.6/4.7 Q4, Llama 4 Scout bf16)
- Yritystason monivuokralaispalvelu tiukoilla SLA-ehdoilla — ECC-luotettavuus pitkissä ajoissa
- RAG + vektoritietokantapalvelu laadukkailla hakumalleilla rinnakkain
- Media- ja video-AI-putket — NVENC / NVDEC -laitteistopolku, VFX-renderöinti, litterointi/kääntäminen
- Hiljaiset konesaliasennukset — passiivikortit, matala melutaso toimistotilojen lähellä
Mitattu suorituskyky
Julkaistut lähteet | NVIDIA L40 -datalehti + yhteisön benchmarkit
| Testi | Tulos |
|---|---|
| INT8 TOPS per kortti (NVIDIA-datalehti) | 362 TOPS |
| INT8 TOPS yhteensä (4 korttia) | 1 448 TOPS |
| VRAM per kortti | 48 GB ECC GDDR6, kaistanleveys 864 GB/s |
| Llama 3.3 70B Q6 vLLM:llä (yhteisö) | 30-50 tok/s yksittäisvirralla, 150+ tok/s eräkoolla 16 |
| FLUX.1 [dev] bf16 L40:llä (yhteisö) | ~3-4 s per 1024x1024-kuva |
| NVENC / NVDEC | Gen-8-laitteistokooderit sirulla (video-AI-putki) |
Julkaistuja ulkoisia lähteitä, ei mitattu Kentinon laitteistolla. Kentino julkaisee omat mittaustulokset ensimmäisen asiakaskokoonpanon jälkeen.
Ei ihanteellinen
- Suurten mallien koulutus alusta alkaen (ei NVLinkiä, rajallinen FP8-tensorilaskenta)
- Yhden käyttäjän edullinen päättely (4x L4 tai 2x L40 on selvästi halvempi)
- Dense bf16 70B erittäin pitkällä kontekstilla yhdellä mallilla — valitse mieluummin 2x RTX Pro 6000 Server Edition (sama 192 GB:n pooli, pienempi TP-yleiskustannus)
Takuu ja toimitusaika
NVIDIA OEM -takuu 3 vuotta L40-korteille + Kentinon integraatiotakuu. Kokoonpano sisältää asennuksen, BIOS-määrityksen, ajurien asennuksen, rasitustestauksen ja toiminnallisen tarkastuksen. Toimitusaika riippuu komponenttien saatavuudesta ja vahvistetaan tilauksen yhteydessä.
Suositellut lisävarusteet
- Keskusmuistin päivitys 512 GB:hen (lisää 4x 64 GB DDR4 — neljä DIMM-paikkaa vielä vapaana)
- 4 TB NVMe mallikirjaston välivarastoksi
- Täysi 24U-räkkikaappi hallitulla PDU:lla + online-UPS 5 kVA
Kysymykset, joita ostajat kysyvät meiltä useimmin ennen palvelimen tilaamista.
Kauanko se kestää?
Varastossa olevista komponenteista rakennetut koneet toimitetaan nopeasti; tiettyä GPU-sukupolvea vaativien koneiden toimitus riippuu saatavuudesta. Annamme päivämäärän ennen maksua, ja jos se muuttuu, kerromme siitä itse emmekä anna sen tulla yllätyksenä.
Voiko kokoonpanoa muuttaa ennen rakentamista?
Lähes aina. GPU:t, muisti, tallennustila ja jäähdytys valitaan tilauskohtaisesti, ja listattu kokoonpano on lähtökohta eikä kiinteä paketti. Jos tarvitaan enemmän VRAM:ia, nopeampaa tallennusta tai erilaista jäähdytysratkaisua, kerro siitä ennen tilausta, niin teemme muutoksesta tarjouksen.
Voiko palvelimen noutaa itse?
Voi. Varastomme sijaitsee Prahassa, ja nouto paikan päältä on tervetullut — useimmat noutajat käyttävät käynnin hyväkseen, käyvät koneen läpi insinöörimme kanssa ja kysyvät ne kysymykset, jotka ovat sähköpostitse hankalia. Tšekin tasavallan sisäisissä tilauksissa pyrimme myös toimittamaan laitteen henkilökohtaisesti ja käymään asennuksen läpi paikan päällä.
Voinko keskustella jonkun kanssa, joka oikeasti ymmärtää kuormituksen?
Kyllä. Meillä on nimenomaan AI-järjestelmiin erikoistunut insinööri, ei yleistä myyntipalvelua. Jos kysymys koskee eräkokoja, kvantisointia, väyläratkaisuja tai sitä, missä pullonkaula tulee vastaan, kysy — se keskustelu yleensä parantaa kokoonpanoa.
Mitä mallia tällä kokoonpanolla voi ajaa?
Kyllä. Jokainen kone kootaan, rasitustestataan ja testataan todellisilla AI-kuormituksilla ennen toimitusta, ja se lähtee meiltä LLM valmiiksi asennettuna ja käynnissä. Kone kytketään virtaan ja verkkoon, ja työt voi aloittaa — jäljelle jää vain päätös siitä, mikä projekti ajetaan ensin.
Miten palvelin testataan ennen toimitusta?
Testaamme laitteen todellisilla AI-kuormituksilla synteettisten pisteiden sijaan: inferenssiläpäisy, käyttäytyminen jatkuvassa kuormassa ja lämpötilat yhtäjaksoisessa käytössä. Benchmark-tulokset toimitetaan koneen mukana, joten luvattu suorituskyky on todennettavissa ensimmäisestä päivästä lähtien.
Onko palvelin käyttövalmis saapuessaan?
Kyllä. Jokainen kone kootaan, rasitustestataan ja testataan todellisilla AI-kuormituksilla ennen toimitusta, ja se lähtee meiltä LLM valmiiksi asennettuna ja käynnissä. Kone kytketään virtaan ja verkkoon, ja työt voi aloittaa — jäljelle jää vain päätös siitä, mikä projekti ajetaan ensin.
Toimitus EU-varastostamme. Raskaat tuotteet voivat vaatia rahtijärjestelyjä — pyydä toimitustarjous ja toimitusaika. 2 vuoden rajoitettu takuu ja ennakkovaihto-RMA-tuki; jatkettu takuu saatavilla.
Etkö löytänyt juuri sitä, mitä tarvitset?
Kerro kuormituksesi, niin määrittelemme alustan sen ympärille — GPU:t, muisti, tallennustila ja jäähdytys sovitettuna todelliseen käyttöön.