Kentino AI 48 Rome L4 484TOPS — 2x NVIDIA L4 passiivinen reuna-AI-palvelin
Yritystason alusta, koottu ja testattu EU:ssa.
Kentino AI 48 Rome L4 484TOPS
Hiljainen passiivinen 2x L4 -reunapalvelin
48 GB ECC VRAM | EPYC Milan | 484 TOPS INT8
Hiljainen passiivinen 2x L4 -inferenssilaite — konesalitason takuupolku, 72 W korttia kohden, 48 GB ECC VRAM jatkuvaan reunakäyttöön.
Kahden GPU:n reunainferenssipalvelin passiivisilla NVIDIA L4 -korteilla — Kentinon valikoiman hiljainen konesaliluokan vaihtoehto. Yhteensä 48 GB ECC VRAM, 144 W GPU-kokonaiskulutus, yhden paikan korttikoko ja ilmavirta kokonaan kotelon varassa. Sivukonttoreihin, lähetystiloihin, jatkuvaan litterointiin ja kaikkiin käyttöönottoihin, joissa äänitaso ja konesalitason takuupolku painavat enemmän kuin raaka tensoriteho.
Laitteisto
| Komponentti | Tiedot |
|---|---|
| GPU:t | 2x NVIDIA L4 24 GB GDDR6, passiivinen (72 W, PCIe 4.0 x16, Ada Lovelace, ECC) |
| VRAM-pooli | 48 GB ECC |
| Suoritin | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x PCIe 4.0 -väylää) |
| Emolevy | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Keskusmuisti | 128 GB DDR4-2666 ECC RDIMM (2x 64 GB) |
| Käynnistys / tallennus | 1 TB NVMe M.2 (PCIe 4.0 x4) |
| Virtalähde | Yksi 2 kW:n ATX-virtalähde |
| Kotelo | 4U-räkkiasennus, passiiviset Gen4 x16 -riserit |
| Jäähdytys | SP3-tornijäähdytin, 3x 120 mm etuimu + 1x 120 mm takapoisto (matalakierroksinen PWM) |
| Verkko | Integroitu kaksois-10 GbE (Intel X550) + IPMI |
Tehobudjetti
- GPU-kulutus: 2 x 72 W = 144 W
- Järjestelmä yhteensä täydellä kuormalla: ~469 W
- Virtalähde yhteensä: 2 000 W — 76.55 % varaa
- Tuulettimet matalilla kierroksilla tyhjäkäynnillä (~35 dBA tyhjäkäynnillä, <45 dBA jatkuvassa inferenssissä)
Väylätopologia
PCIe Gen4 x16 molemmille GPU:ille. L4 on natiivisti Gen4 x16; ROMED8-2T jakaa 2x16 suoraan suorittimelta. Ei kytkintä, ei NVLinkiä. GPU:n lämpötila jatkuvasti 55-65 C — passiiviset kortit ovat täysin kotelon ilmavirran varassa.
Mitä sillä voi ajaa
48 GB:n ECC VRAM -muistilla kahdessa passiivisessa L4-kortissa tämä palvelin hoitaa jatkuvan LLM-inferenssin, 24/7 ASR + TTS -putket, VLM-dokumenttikäsittelyn ja reunakäyttöönotot, joissa hiljaisuus ja konesalitason takuu ovat tärkeitä.
LLM:t — teksti / päättely / koodaus
Kiinalaiset huippumallit
- Qwen3-32B dense Q6 32k kontekstilla (~15-20 tok/s yksittäisvirtana L4:llä, julkaistu vertailutieto)
- Qwen3-30B-A3B / Qwen3-Coder-30B-A3B Q4-Q6 (MoE, 256k konteksti)
- QwQ-32B Q6; DeepSeek-R2 32B harva MoE Q4-Q6 (~18-24 tok/s yksittäisvirtana Q4:llä L4:llä, julkaistu vertailutieto)
- Hunyuan-A13B Q6 tai fp8 (~48 GB) — 80B/13B MoE, 256k konteksti
- Seed-OSS-36B Q4-Q6 — 512k natiivi konteksti
- ERNIE-4.5-47B-A3B Q4-Q6 (~28-42 GB)
Länsimaiset huippumallit
- Llama 3.3 70B Q4_K_M (~43 GB) 2-tie tensoririnnakkaisuus (~8-12 tok/s yksittäisvirtana 2x L4:llä, julkaistu vertailutieto)
- Mistral Small 3 / Magistral / Devstral Small 2 (24B) bf16
- Gemma 3 27B multimodaalinen bf16
- Phi-4 14B / Phi-4-reasoning bf16
- Nemotron-Super 49B Q4 (~28 GB)
- OLMo 2 32B / OLMo 3.1-32B-Think — täysin avoin päättelytutkimus
Näkö-kielimallit
Qwen3-VL-8B / 32B Q4-Q6; InternVL3.5-38B Q4; Pixtral 12B bf16 (24 GB); Llama 3.2 11B Vision bf16; Gemma 3 12B / 27B multimodaalinen; MiniCPM-V 2.6 / MiniCPM-o 2.6; Aya Vision 8B / 32B 23 kielen VLM-käyttöön.
Kuvien generointi
L4 on viritetty inferenssiin — sopii tasaisiin kuvaputkiin, ei eräajoina tehtävään generointiin: FLUX.1 [dev] fp8 / Q4 — yksi kuva 8-12 s:ssa; SD 3.5 Large fp8 / SDXL 1.0 / SD 3.5 Medium; HunyuanImage-2.1 NF4 (~14 GB); Kolors 2.0 fp8.
Videon generointi
Ei suositella uusiin videoprojekteihin L4:llä — valitse mieluummin 4090/5090-kokoonpano. Kevyisiin T2V-putkiin: Wan 2.2 TI2V-5B bf16:lla — 5 s 720p ~6-10 minuutissa; HunyuanVideo 1.5 (8.3B) Wan2GP-optimointipolku.
Ääni / puhe / TTS
L4:n todellinen vahvuus — 24/7 ASR + TTS + reaaliaikaiset puhepinot.
- ASR: Whisper v3 large / turbo (~30x reaaliaikainen L4:llä, julkaistu vertailutieto); NVIDIA Parakeet-TDT 1.1B; Canary 1B
- TTS: CosyVoice 2.0 / Fun-CosyVoice 3.0; Kokoro 82M; Stable Audio Open
- Reaaliaika / S2S: Kyutai Moshi (7B, 200 ms viive, full-duplex); Step-Audio 2 mini / R1
- Käännös: Meta SeamlessM4T v2 (~100 kieltä)
Monimalli- / monivuokralaiskäyttö
- Whisper v3 + Kokoro + Moshi + Qwen3-14B Q6 kaikki muistissa kortilla 1 (~18-20 GB); kortti 2 varattu toiselle vuokralaiselle tai VLM:lle
- 8-16 samanaikaista ASR-istuntoa yhdellä L4:llä Whisper-turbolla reaaliajassa
- RAG-päätepiste: Qwen3-14B / Llama 3.1 8B (~48-72 tok/s yksittäisvirtana L4:llä, julkaistu vertailutieto) + BGE-M3-upotukset + uudelleenjärjestäjä
Kohdekuormitukset
- Hiljainen inferenssilaite sivukonttoriin tai lähetystilaan
- Jatkuva ASR- ja käännösputki (puhelinpalvelut, luentojen litterointi, median tekstitys)
- Reuna-RAG-päätepiste yrityksen dokumenteille konesalitason takuupolulla
- 24/7 multimodaalinen avustaja (Qwen3-VL-8B + MiniCPM-o 2.6) pieneen toimistoon
- Kehitys- ja testausympäristö konesaliluokan käyttöönotoille — sama L4-piiri kuin hyperskaalan reunalla
Julkaistut suorituskykyvertailut
Julkaistu vertailutieto | Vastaava 2x NVIDIA L4 -laitteisto
| Vertailutesti | Tulos |
|---|---|
| Llama 3.1 8B Q4_K_M llama.cpp -dekoodaus | ~30-40 tok/s yksittäisvirtana |
| Qwen3-14B Q6 vLLM -dekoodaus | ~20-28 tok/s |
| Whisper v3 large, reaaliaikakerroin | ~15-20x L4:ää kohden |
| Parakeet-TDT 1.1B, englannin ASR | ~40-60x reaaliaikainen |
| Moshi 7B full-duplex-puhe | 200 ms viive, mahtuu yhdelle L4:lle |
Julkaistu, ei mitattu Kentinon laitteistolla.
Ei ihanteellinen
- 70B dense Q6+ -tarkkuudella (jopa 48 GB:n pooli on tiukka — käytä 4x4090- tai 2x5090-kokoonpanoa)
- Kuvien / videoiden generoinnin eräajot suuressa mittakaavassa (L4:n tensoriteho on viritetty inferenssiin)
- LoRA- / hienosäätötyönkulut — käytä mieluummin 4090/5090-kokoonpanoja
Takuu ja toimitusaika
L4-korteilla on NVIDIAn konesalitason takuupolku — merkittävä etu kuluttajakortteihin nähden 24/7 SLA -käytössä. Kokoonpano sisältää asennuksen, BIOS-määritykset, ajurien asennuksen, rasitustestauksen ja toiminnallisen tarkastuksen.
Suositellut lisävarusteet
- Päivitys malliin Kentino AI 96 Rome L4 968TOPS (4x L4, 96 GB pooli) kaksinkertaiseen läpäisykykyyn
- Käynnistysaseman päivitys 2 TB:n NVMe-levyyn
- RAM-päivitys 256 GB:hen (4x 64 GB) usean mallin samanaikaiseen ajoon
- Räkki-PDU + 2 kVA:n online-UPS sivukonttorikäyttöön
Kysymykset, joita ostajat kysyvät meiltä useimmin ennen palvelimen tilaamista.
Kauanko se kestää?
Varastossa olevista komponenteista rakennetut koneet toimitetaan nopeasti; tiettyä GPU-sukupolvea vaativien koneiden toimitus riippuu saatavuudesta. Annamme päivämäärän ennen maksua, ja jos se muuttuu, kerromme siitä itse emmekä anna sen tulla yllätyksenä.
Voiko kokoonpanoa muuttaa ennen rakentamista?
Lähes aina. GPU:t, muisti, tallennustila ja jäähdytys valitaan tilauskohtaisesti, ja listattu kokoonpano on lähtökohta eikä kiinteä paketti. Jos tarvitaan enemmän VRAM:ia, nopeampaa tallennusta tai erilaista jäähdytysratkaisua, kerro siitä ennen tilausta, niin teemme muutoksesta tarjouksen.
Voiko palvelimen noutaa itse?
Voi. Varastomme sijaitsee Prahassa, ja nouto paikan päältä on tervetullut — useimmat noutajat käyttävät käynnin hyväkseen, käyvät koneen läpi insinöörimme kanssa ja kysyvät ne kysymykset, jotka ovat sähköpostitse hankalia. Tšekin tasavallan sisäisissä tilauksissa pyrimme myös toimittamaan laitteen henkilökohtaisesti ja käymään asennuksen läpi paikan päällä.
Voinko keskustella jonkun kanssa, joka oikeasti ymmärtää kuormituksen?
Kyllä. Meillä on nimenomaan AI-järjestelmiin erikoistunut insinööri, ei yleistä myyntipalvelua. Jos kysymys koskee eräkokoja, kvantisointia, väyläratkaisuja tai sitä, missä pullonkaula tulee vastaan, kysy — se keskustelu yleensä parantaa kokoonpanoa.
Mitä mallia tällä kokoonpanolla voi ajaa?
Kyllä. Jokainen kone kootaan, rasitustestataan ja testataan todellisilla AI-kuormituksilla ennen toimitusta, ja se lähtee meiltä LLM valmiiksi asennettuna ja käynnissä. Kone kytketään virtaan ja verkkoon, ja työt voi aloittaa — jäljelle jää vain päätös siitä, mikä projekti ajetaan ensin.
Miten palvelin testataan ennen toimitusta?
Testaamme laitteen todellisilla AI-kuormituksilla synteettisten pisteiden sijaan: inferenssiläpäisy, käyttäytyminen jatkuvassa kuormassa ja lämpötilat yhtäjaksoisessa käytössä. Benchmark-tulokset toimitetaan koneen mukana, joten luvattu suorituskyky on todennettavissa ensimmäisestä päivästä lähtien.
Onko palvelin käyttövalmis saapuessaan?
Kyllä. Jokainen kone kootaan, rasitustestataan ja testataan todellisilla AI-kuormituksilla ennen toimitusta, ja se lähtee meiltä LLM valmiiksi asennettuna ja käynnissä. Kone kytketään virtaan ja verkkoon, ja työt voi aloittaa — jäljelle jää vain päätös siitä, mikä projekti ajetaan ensin.
Toimitus EU-varastostamme. Raskaat tuotteet voivat vaatia rahtijärjestelyjä — pyydä toimitustarjous ja toimitusaika. 2 vuoden rajoitettu takuu ja ennakkovaihto-RMA-tuki; jatkettu takuu saatavilla.
Etkö löytänyt juuri sitä, mitä tarvitset?
Kerro kuormituksesi, niin määrittelemme alustan sen ympärille — GPU:t, muisti, tallennustila ja jäähdytys sovitettuna todelliseen käyttöön.