Kentino AI 48 Rome L4 484TOPS — passiv edge-AI-server med 2x NVIDIA L4
Plattform i företagsklass, monterad och testad i EU.
Kentino AI 48 Rome L4 484TOPS
Tyst edge-server med 2x passiva L4
48 GB ECC VRAM | EPYC Milan | 484 TOPS INT8
Tyst inferensbox med 2x passiva L4 — garantiväg i datacenterklass, 72 W per kort, 48 GB ECC VRAM för edge-drift dygnet runt.
En edge-inferensserver med 2 GPU:er byggd kring passiva NVIDIA L4-kort — det tysta alternativet i datacenterklass i Kentinos sortiment. Totalt 48 GB ECC VRAM, 144 W total GPU-förbrukning, kort som bara tar en plats och ett luftflöde som helt drivs av chassit. För filialkontor, sändningsanläggningar, ständigt aktiv transkribering och alla installationer där ljudnivå och garantiväg i datacenterklass väger tyngre än rå tensorgenomströmning.
Hårdvara
| Komponent | Detalj |
|---|---|
| GPU:er | 2x NVIDIA L4 24 GB GDDR6 passiva (72 W, PCIe 4.0 x16, Ada Lovelace, ECC) |
| VRAM-pool | 48 GB ECC |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x PCIe 4.0-banor) |
| Moderkort | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Systemminne | 128 GB DDR4-2666 ECC RDIMM (2x 64 GB) |
| Boot / lagring | 1 TB NVMe M.2 (PCIe 4.0 x4) |
| Nätaggregat | Ett 2 kW ATX-nätaggregat |
| Chassi | 4U rackmonterad, passiva Gen4 x16-risers |
| Kylning | SP3-towerkylare, 3x 120 mm intag fram + 1x 120 mm utblås bak (PWM med lågt varvtal) |
| Nätverk | Inbyggt dubbelt 10 GbE (Intel X550) + IPMI |
Effektbudget
- GPU-förbrukning: 2 x 72 W = 144 W
- Systemets totala förbrukning vid full last: ~469 W
- Nätaggregat totalt: 2 000 W — 76.55 % marginal
- Kör fläktarna på lågt varvtal i tomgång (~35 dBA i tomgång, <45 dBA vid kontinuerlig inferens)
Topologi för PCIe-banor
PCIe Gen4 x16 till båda GPU:erna. L4 är nativt Gen4 x16; ROMED8-2T fördelar 2x16 direkt från CPU:n. Ingen switch, ingen NVLink. 55-65 C GPU-temperatur vid kontinuerlig drift — passiva kort är helt beroende av chassits luftflöde.
Vad du kan köra
Med 48 GB ECC VRAM över 2 passiva L4-kort hanterar den här servern ständigt aktiv LLM-inferens, ASR- och TTS-pipelines dygnet runt, VLM-dokumentbehandling och edge-installationer där tystnad och garantiväg i datacenterklass spelar roll.
LLM:er — text / resonemang / kodning
Kinesiska frontiermodeller
- Qwen3-32B tät Q6 med 32k ctx (~15-20 tok/s enkelström på L4, publicerad referens)
- Qwen3-30B-A3B / Qwen3-Coder-30B-A3B Q4-Q6 (MoE, 256k ctx)
- QwQ-32B Q6; DeepSeek-R2 32B gles MoE Q4-Q6 (~18-24 tok/s enkelström i Q4 på L4, publicerad referens)
- Hunyuan-A13B Q6 eller fp8 (~48 GB) — 80B/13B MoE, 256k ctx
- Seed-OSS-36B Q4-Q6 — 512k nativ ctx
- ERNIE-4.5-47B-A3B Q4-Q6 (~28-42 GB)
Västerländska frontiermodeller
- Llama 3.3 70B Q4_K_M (~43 GB) tensorparallellt 2-vägs (~8-12 tok/s enkelström på 2x L4, publicerad referens)
- Mistral Small 3 / Magistral / Devstral Small 2 (24B) bf16
- Gemma 3 27B multimodal bf16
- Phi-4 14B / Phi-4-reasoning bf16
- Nemotron-Super 49B Q4 (~28 GB)
- OLMo 2 32B / OLMo 3.1-32B-Think — helt öppen forskning om resonemang
Vision-språk
Qwen3-VL-8B / 32B Q4-Q6; InternVL3.5-38B Q4; Pixtral 12B bf16 (24 GB); Llama 3.2 11B Vision bf16; Gemma 3 12B / 27B multimodal; MiniCPM-V 2.6 / MiniCPM-o 2.6; Aya Vision 8B / 32B för VLM på 23 språk.
Bildgenerering
L4 är optimerat för inferens — användbart för jämna bildpipelines, inte batchgenerering: FLUX.1 [dev] fp8 / Q4 — en bild på 8-12 s; SD 3.5 Large fp8 / SDXL 1.0 / SD 3.5 Medium; HunyuanImage-2.1 NF4 (~14 GB); Kolors 2.0 fp8.
Videogenerering
Rekommenderas inte för nya videoprojekt på L4 — välj hellre ett 4090/5090-bygge. För lätta T2V-pipelines: Wan 2.2 TI2V-5B i bf16 — 5 s 720p på ~6-10 minuter; HunyuanVideo 1.5 (8.3B) via Wan2GP-optimering.
Ljud / tal / TTS
L4:ans verkliga styrka — ASR, TTS och realtidsröst dygnet runt.
- ASR: Whisper v3 large / turbo (~30x realtid på L4, publicerad referens); NVIDIA Parakeet-TDT 1.1B; Canary 1B
- TTS: CosyVoice 2.0 / Fun-CosyVoice 3.0; Kokoro 82M; Stable Audio Open
- Realtid / S2S: Kyutai Moshi (7B, 200 ms latens, full duplex); Step-Audio 2 mini / R1
- Översättning: Meta SeamlessM4T v2 (~100 språk)
Flera modeller / flera användare
- Whisper v3 + Kokoro + Moshi + Qwen3-14B Q6 alla inlästa på kort 1 (~18-20 GB); kort 2 reserverat för en andra användare eller en VLM
- 8-16 samtidiga ASR-sessioner på en enda L4 med Whisper-turbo i realtid
- RAG-endpoint: Qwen3-14B / Llama 3.1 8B (~48-72 tok/s enkelström på L4, publicerad referens) + BGE-M3-embeddings + reranker
Typiska arbetsbelastningar
- Tyst inferensbox för filialkontor eller sändningsanläggningar
- Ständigt aktiv pipeline för ASR och översättning (callcenter, föreläsningstranskribering, textning av media)
- Edge-RAG-endpoint över företagsdokument med garantiväg i datacenterklass
- Multimodal assistent dygnet runt (Qwen3-VL-8B + MiniCPM-o 2.6) för ett litet kontor
- Utvecklings- och stagingbox för installationer i datacenterklass — samma L4-kisel som i hyperscale-edge
Publicerade prestandareferenser
Publicerad referens | jämförbar hårdvara med 2x NVIDIA L4
| Benchmark | Resultat |
|---|---|
| Llama 3.1 8B Q4_K_M llama.cpp-avkodning | ~30-40 tok/s enkelström |
| Qwen3-14B Q6 vLLM-avkodning | ~20-28 tok/s |
| Whisper v3 large, realtidsfaktor | ~15-20x per L4 |
| Parakeet-TDT 1.1B engelsk ASR | ~40-60x realtid |
| Moshi 7B röst i full duplex | 200 ms latens, ryms på en enda L4 |
Publicerat, ej uppmätt på Kentinos hårdvara.
Mindre lämplig för
- Tät 70B i Q6+ (även en pool på 48 GB är snäv — använd 4x4090 eller 2x5090)
- Batchgenerering av bild/video i stor skala (L4:ans tensorgenomströmning är optimerad för inferens)
- LoRA-/finjusteringsflöden — använd 4090/5090-byggen i stället
Garanti och leveranstid
L4 har NVIDIAs garantiväg för datacenter — en betydande fördel jämfört med konsumentkort vid drift dygnet runt med SLA. Bygget omfattar montering, BIOS-konfiguration, drivrutinsinstallation, inbränningstest och funktionsverifiering.
Rekommenderade tillägg
- Uppgradera till Kentino AI 96 Rome L4 968TOPS (4x L4, 96 GB pool) för dubbel genomströmning
- Uppgradera bootenheten till 2 TB NVMe
- Uppgradera RAM till 256 GB (4x 64 GB) för samtidig servering av flera modeller
- Rack-PDU + 2 kVA online-UPS för installation på filialkontor
De frågor köpare oftast ställer till oss innan de beställer en server.
Hur lång tid tar det?
Maskiner byggda av komponenter vi har i lager skickas snabbt; allt som kräver en viss GPU-generation beror på tillgången. Vi ger dig ett datum innan du betalar, och om det ändras säger vi till i stället för att låta dig upptäcka det själv.
Kan konfigurationen ändras innan ni bygger den?
Nästan alltid. GPU:er, minne, lagring och kylning väljs per order, och den listade konfigurationen är en utgångspunkt snarare än ett fast paket. Behöver du mer VRAM, snabbare lagring eller en annan kyllösning, säg till innan du beställer så offererar vi ändringen.
Kan jag hämta servern personligen?
Det kan du. Vårt lager ligger i Prag och du är välkommen att hämta personligen – de flesta som kommer passar på att gå igenom maskinen med vår ingenjör och ställa de frågor som är krångliga via mejl. För beställningar inom Tjeckien försöker vi också leverera personligen och gå igenom installationen med dig på plats.
Kan jag prata med någon som faktiskt förstår arbetsbelastningen?
Ja. Vi har en ingenjör som arbetar specifikt med AI-system, inte en allmän säljavdelning. Om din fråga gäller batchstorlekar, kvantisering, interconnect eller var din flaskhals kommer att uppstå, så ställ den — det samtalet brukar förändra konfigurationen till det bättre.
Vilken modell kan jag köra på den här konfigurationen?
Ja. Varje maskin monteras, inbränningstestas och benchmarkas på riktiga AI-arbetsbelastningar innan den skickas, och den lämnar oss med en LLM redan installerad och igång. Du kopplar in den, ansluter den till ditt nätverk och börjar arbeta – det enda beslut som återstår är vilket projekt den ska köra först.
Hur testar ni en server före leverans?
Vi kör den mot verkliga AI-arbetsbelastningar i stället för syntetiska poäng: inferensgenomströmning, beteende under ihållande last och temperaturer vid kontinuerlig drift. Du får benchmarkresultaten tillsammans med maskinen, så att den prestanda du blev lovad är den prestanda du kan verifiera redan första dagen.
Är servern redo att köras när den levereras?
Ja. Varje maskin monteras, inbränningstestas och benchmarkas på riktiga AI-arbetsbelastningar innan den skickas, och den lämnar oss med en LLM redan installerad och igång. Du kopplar in den, ansluter den till ditt nätverk och börjar arbeta – det enda beslut som återstår är vilket projekt den ska köra först.
Skickas från vårt lager i EU. Tunga artiklar kan kräva särskild godsfrakt — kontakta oss för en fraktoffert och leveranstid. 2 års begränsad garanti med avancerad RMA-support; förlängd garanti finns.
Inte riktigt vad du behöver?
Berätta om din arbetsbelastning så specificerar vi plattformen kring den – GPU:er, minne, lagring och kylning anpassade efter det du faktiskt kör.