Kentino AI 144 Rome L4 1452TOPS — 6× NVIDIA L4 — EPYC Milan
Plattform i företagsklass, monterad och testad i EU.
Kentino AI 144 Rome L4 1452TOPS
Tyst edge-inferensserver med 144 GB VRAM
6x NVIDIA L4 passiv | EPYC Milan | 1 452 TOPS INT8
Sex passiva L4-datacenterkort. Den tystaste AI-servern i Kentinos sortiment — fungerar för edge-driftsättning på kontoret.
En 4U-inferensserver med en sockel, sex passiva NVIDIA L4-kort (24 GB vardera, 144 GB pool), en AMD EPYC 7643 Milan-CPU (48C/96T), 384 GB DDR4 ECC, 2 TB NVMe för boot och ett enda 2 kW ATX-nätaggregat med 62 % marginal. En arbetshäst för tät edge-inferens: embeddingflottor, servering av små och medelstora LLM:er för flera kunder samt driftsättningar nära kontorsytor där watt per förfrågan räknas.
Hårdvara
| Komponent | Detalj |
|---|---|
| GPU:er | 6x NVIDIA L4 24 GB (Ada Lovelace, passiv, 72 W, enkelslot LP, PCIe Gen4 x8) |
| VRAM-pool | 144 GB sammanlagt över 6 kort |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128 PCIe 4.0-banor) |
| Moderkort | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| System-RAM | 384 GB DDR4-2666 ECC RDIMM (6x 64 GB) |
| Boot / lagring | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Nätaggregat | 1x 2 kW ATX-nätaggregat |
| Chassi | 4U-rackmontering (layout för 6 kort) |
| Kylning | SP3-tornkylare + riktat luftflöde fram-till-bak (industrifläktar) |
| Nätverk | Inbyggd dubbel 10 GbE (Intel X550) |
Effektbudget
- GPU-förbrukning: 6 x 72 W = 432 W
- Systemtotal vid full last: ~757 W
- Nätaggregat totalt: 2 000 W — 62 % marginal
- Tyst drift, enorm termisk marginal
Banortopologi
L4 är PCIe Gen4 x8 nativt — ingen bandbreddsförlust mot värden. ROMED8-2T har 7x x16-platser; en plats lämnas ledig för ett extra nätverkskort. Ingen PCIe-switch krävs. Ingen NVLink.
Vad du kan köra
Med 144 GB fördelat på 6 fysiska kort ligger styrkan i samtidig servering av flera modeller: kör en 70B dense i Q4, en 30B MoE, en 14B-kodmodell, en VLM och en embeddingmodell samtidigt och ha ändå KV-marginal kvar.
LLM:er — text / resonemang / kodning
Kinesisk frontlinje
- Qwen3 / Qwen3.5 (Alibaba): Qwen3-30B-A3B Q4-Q6; QwQ-32B Q6; Qwen3-32B dense Q6; Qwen3.5-122B-A10B Q4-Q5 (~75 GB bekvämt); Qwen3-235B-A22B Q3 (~112 GB) snävt, kort kontext
- DeepSeek: DeepSeek-R2 32B sparse MoE Q4-Q6 (klarar sig på ett kort, 6x samtidiga strömmar, ~15-20 tok/s per ström); Seed-OSS-36B Q4-Q6 med 512k nativ kontext
- GLM / Z.ai: GLM-4.5-Air Q4-Q5 (60-70 GB bekvämt); Hunyuan-A13B Q4-Q6 (~48 GB)
- Baidu ERNIE-4.5-47B-A3B Q4; Step-3.5-Flash Q3-Q4 med visst spill till RAM
Västerländsk frontlinje
- Meta Llama: Llama 3.3 70B Q4-Q6 (43-58 GB) med generös KV (~10-17 tok/s enkelström över 6x L4 tensorparallellt); Llama 4 Scout 109B/17B MoE Q4 (~63 GB) bekvämt
- Mistral: Mistral Small 3 / Magistral Small 1.2 / Devstral Small 2 (24B) i bf16 (~50-65 tok/s per L4-kort); Mixtral 8x22B Q4
- OpenAI (öppna vikter): gpt-oss-120b MXFP4 nativt (~80 GB) med marginal kvar; gpt-oss-20b MXFP4
- Google Gemma 3: 27B bf16; Phi-4 14B bf16
- NVIDIA Nemotron: Llama-3.1-Nemotron Super 49B Q4-Q6; Pixtral 12B / Pixtral Large Q4 (~72 GB)
Vision-språkmodeller
Qwen3-VL-8B/32B, Qwen3-VL-30B-A3B MoE, InternVL3 upp till 78B Q4 (~48 GB), InternVL3.5-38B, DeepSeek-VL2, Llama 3.2 11B Vision bf16, Llama 3.2 90B Vision Q4 (~52 GB), Molmo 72B Q4, Gemma 3 12B/27B multimodal, MiniCPM-V 2.6 / MiniCPM-o 2.6, GLM-4.6V-Flash.
Bildgenerering
FLUX.1 [dev] / [schnell] fp8 (~20-35 s/bild på ett L4 i fp8); FLUX.1 Kontext [dev]; FLUX Tools; SD 3.5 Large (18 GB fp16 / 11 GB fp8); SDXL 1.0; HunyuanImage-2.1 (~34 GB bf16); HunyuanDiT; Kolors 2.0; AuraFlow v0.3; OmniGen v1; PixArt-Sigma.
Videogenerering
Wan 2.2 T2V-A14B / I2V-A14B MoE (snävt i bf16 ~54 GB); Wan 2.2 TI2V-5B snabbväg; HunyuanVideo 13B Q4-Q8 (~30 GB); HunyuanVideo 1.5 (8.3B); CogVideoX-5B; Open-Sora 2.0 Q8 (~16 GB); Mochi-1 Q4 (~18 GB); LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos.
Ljud / tal / TTS
- ASR: Whisper v3 large / turbo (~50x realtid); Parakeet-TDT; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2 / 3; Kokoro 82M; Stable Audio Open; XTTS v2; StyleTTS 2; Step-Audio-EditX
- Realtid / S2S: Kyutai Moshi 7B; Step-Audio 2 mini/R1; Qwen2.5-Omni-7B
- Musik / SFX: MusicGen / AudioGen / Bark; SeamlessM4T v2
Servering av flera modeller / för flera kunder
- 6 samtidiga strömmar av en 24 GB Q4-modell (en per kort): t.ex. 6x Qwen3-14B Q4-agenter
- Blandad flotta: Llama 3.3 70B Q4 (tensorparallellt över 2 kort) + FLUX.1 (1 kort) + Whisper-turbo (1 kort) + Moshi (1 kort) + BGE-M3-embedder (1 kort)
- Embeddingtjänst med hög QPS — 6x parallella embeddingströmmar med BGE-M3 / E5 / Nomic / Cohere Embed
- Farm för videotranskodning — 6x parallella NVENC/NVDEC-strömmar
Typiska arbetsbelastningar
- SaaS-LLM-API för flera kunder — betjäna 20-40 samtidiga användare med en 24B/32B-modell och plats för bild och ASR vid sidan av
- RAG-backend — embedder på frågesidan + 70B Q4-läsare + reranker, latens under en sekund, 50 QPS
- Video-AI-pipeline — live-transkodning + undertextning + moderering på 6 parallella strömmar
- Edge-AI-enhet nära kontoret — låg ljudprofil, inget beroende av datacenter
- FoU-bänk för mellanklassmodeller — snabb iteration på finjusteringar av 30-70B, ett kort per experiment
Uppmätt prestanda
Publicerade referenser | NVIDIA L4-datablad + communitybenchmarks
| Benchmark | Resultat |
|---|---|
| INT8 TOPS per kort (NVIDIA-datablad) | 242 TOPS |
| Sammanlagda INT8 TOPS (6 kort) | 1 452 TOPS |
| Llama 3.1 8B Q4 på ett L4 (community) | ~35-45 tok/s enkelström |
| BGE-M3 embedding-QPS på L4 (community) | ~800 QPS vid 512 tokens indata |
| Realtidsfaktor för Whisper v3 turbo | ~1.5-2x realtid per kort |
Publicerade externa referenser, ej uppmätta på Kentinos hårdvara. Kentino publicerar egna siffror efter det första kundbygget.
Mindre lämplig för
- Frontlinjens 200B+ MoE i Q4+ med lång kontext — 4x L40 eller 8x RTX 4090 (192 GB pool, sammanhängande TP) passar bättre
- Träningsarbetsbelastningar — L4 saknar FP8 och bandbredd för effektiv träning
- Toppgenomströmning för en enskild arbetsbelastning — beräkningskraften per kort är blygsam jämfört med L40 / RTX Pro 6000
Garanti och leveranstid
NVIDIA OEM-garanti på 3 år för L4 + Kentinos integrationsgaranti. Bygget omfattar montering, BIOS-konfiguration, drivrutinsinstallation, inbränningstest och funktionsverifiering. Leveranstiden beror på komponenttillgång och bekräftas vid beställning.
Rekommenderade tillval
- Uppgradering till 4 TB NVMe för mellanlagring av modellbibliotek
- 24U öppet rackskåp med hanterad PDU
De frågor köpare oftast ställer till oss innan de beställer en server.
Hur lång tid tar det?
Maskiner byggda av komponenter vi har i lager skickas snabbt; allt som kräver en viss GPU-generation beror på tillgången. Vi ger dig ett datum innan du betalar, och om det ändras säger vi till i stället för att låta dig upptäcka det själv.
Kan konfigurationen ändras innan ni bygger den?
Nästan alltid. GPU:er, minne, lagring och kylning väljs per order, och den listade konfigurationen är en utgångspunkt snarare än ett fast paket. Behöver du mer VRAM, snabbare lagring eller en annan kyllösning, säg till innan du beställer så offererar vi ändringen.
Kan jag hämta servern personligen?
Det kan du. Vårt lager ligger i Prag och du är välkommen att hämta personligen – de flesta som kommer passar på att gå igenom maskinen med vår ingenjör och ställa de frågor som är krångliga via mejl. För beställningar inom Tjeckien försöker vi också leverera personligen och gå igenom installationen med dig på plats.
Kan jag prata med någon som faktiskt förstår arbetsbelastningen?
Ja. Vi har en ingenjör som arbetar specifikt med AI-system, inte en allmän säljavdelning. Om din fråga gäller batchstorlekar, kvantisering, interconnect eller var din flaskhals kommer att uppstå, så ställ den — det samtalet brukar förändra konfigurationen till det bättre.
Vilken modell kan jag köra på den här konfigurationen?
Ja. Varje maskin monteras, inbränningstestas och benchmarkas på riktiga AI-arbetsbelastningar innan den skickas, och den lämnar oss med en LLM redan installerad och igång. Du kopplar in den, ansluter den till ditt nätverk och börjar arbeta – det enda beslut som återstår är vilket projekt den ska köra först.
Hur testar ni en server före leverans?
Vi kör den mot verkliga AI-arbetsbelastningar i stället för syntetiska poäng: inferensgenomströmning, beteende under ihållande last och temperaturer vid kontinuerlig drift. Du får benchmarkresultaten tillsammans med maskinen, så att den prestanda du blev lovad är den prestanda du kan verifiera redan första dagen.
Är servern redo att köras när den levereras?
Ja. Varje maskin monteras, inbränningstestas och benchmarkas på riktiga AI-arbetsbelastningar innan den skickas, och den lämnar oss med en LLM redan installerad och igång. Du kopplar in den, ansluter den till ditt nätverk och börjar arbeta – det enda beslut som återstår är vilket projekt den ska köra först.
Skickas från vårt lager i EU. Tunga artiklar kan kräva särskild godsfrakt — kontakta oss för en fraktoffert och leveranstid. 2 års begränsad garanti med avancerad RMA-support; förlängd garanti finns.
Inte riktigt vad du behöver?
Berätta om din arbetsbelastning så specificerar vi plattformen kring den – GPU:er, minne, lagring och kylning anpassade efter det du faktiskt kör.