Kentino AI 96 Rome 4090 2644TOPS — AI-inferensserver med 4× RTX 4090
Plattform i företagsklass, monterad och testad i EU.
Kentino AI 96 Rome 4090 2644TOPS
Inferensserver med 96 GB VRAM
4x RTX 4090 | EPYC Rome | 2 644 TOPS INT8
Uppmätt på Kentinos hårdvara. Llama 3.3 70B AWQ INT4 via vLLM 0.19.0.
En 4U rackmonterad inferensserver med fyra GeForce RTX 4090 sammanslagna till 96 GB VRAM, en AMD EPYC 7542 Rome-processor (32C/64T), 256 GB DDR4 ECC, 2 TB NVMe för boot och dubbla synkroniserade 2 kW ATX-nätaggregat. Kör vLLM, SGLang, llama.cpp, ComfyUI och alla större stackar för inferens av öppna modeller direkt ur lådan.
Hårdvara
| Komponent | Detalj |
|---|---|
| GPU:er | 4x NVIDIA GeForce RTX 4090 24 GB GDDR6X (450 W, PCIe 4.0 x16) |
| VRAM-pool | 96 GB totalt över 4 kort |
| CPU | AMD EPYC 7542 Rome (32C/64T, 225 W, 128x PCIe 4.0-lanes) |
| Moderkort | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| System-RAM | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Lagring | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Nätaggregat | Dubbla 2 kW ATX med synkkabel |
| Chassi | 4U rackmontering, riktat luftflöde fram-till-bak |
| Kylning | SP3-tornkylare, 3x främre + 1x bakre 120 mm industrifläktar |
| Nätverk | Inbyggt dubbelt 10 GbE (Intel X550) |
Effektbudget
- GPU-förbrukning: 4 x 450 W = 1 800 W
- Systemtotal: ~2 125 W
- Nätaggregat totalt: 4 000 W (dubbla 2 kW) — 46.9% marginal
- Delad strömförsörjning — fel på ett nätaggregat = förlust av 2 GPU:er eller 2 GPU:er + moderkort
Lane-topologi
128 PCIe Gen4-lanes från EPYC till sju x16-platser; fyra bestyckade med GPU:er på Gen4 x16. Ingen PCIe-switch. Ingen NVLink — peer-to-peer med 19-22 GB/s (uppmätt av Kentino).
Vad du kan köra
Med 96 GB sammanslaget VRAM över 4 kort hanterar den här servern öppna LLM:er, visionsmodeller, bild- och videogenerering, tal-AI och serving för flera kunder.
LLM:er — text / resonemang / kodning
Kinesisk frontier
- Qwen3 / Qwen3.5: Qwen3-72B Q4 (~15-20 tok/s); Qwen3-32B Q6; Qwen3-30B-A3B MoE Q4-Q6; Qwen3-Coder-30B-A3B at 256k; Qwen3.5-122B-A10B Q4; QwQ-32B
- DeepSeek: DeepSeek-R2 32B Q4-Q6 (92.7% AIME 2025); DeepSeek-R1-Distill-Qwen-32B bf16; DeepSeek-V2-Lite 16B
- GLM / Z.ai: GLM-4.5-Air 106B/12B Q4-Q5; GLM-4.6V-Flash; GLM-Zero 9B
- Hunyuan: Hunyuan-A13B Q4-Q6 (~48 GB) 256k ctx, resonemang i dubbelläge
- Övriga: Seed-OSS-36B Q4 512k ctx; ERNIE-4.5-47B-A3B Q4; Yi-34B Q6; Baichuan-M2-32B; Step-3.5-Flash
Västerländsk frontier
- Meta Llama: Llama 3.3 70B Q4_K_M (~20 tok/s llama.cpp, ~179 tok/s batch-32 vLLM — uppmätt av Kentino); Llama 3.1 8B bf16 (~80-120 tok/s); Llama 4 Scout Q4
- Mistral: Small 3 24B bf16; Magistral Small 24B för resonemang; Devstral Small 2 24B 256k ctx; Mixtral 8x7B Q6
- OpenAI: gpt-oss-20b MXFP4 (16 GB); gpt-oss-120b MXFP4 (80 GB, snävt)
- Övriga: Gemma 3 27B Q6 128k; Phi-4 14B bf16; Nemotron-Super 49B Q4; Granite 4.0 H-Small; OLMo 2 32B; Reka Flash 3; Command R 35B
Vision-språkmodeller
Qwen3-VL-8B/32B, Qwen3-VL-30B-A3B, Qwen3-Omni-30B-A3B; InternVL3 upp till 78B Q4; InternVL3.5-38B; DeepSeek-VL2; Llama 3.2 11B Vision; Pixtral 12B; Molmo 7B; Gemma 3 12B/27B; PaliGemma 2; MiniCPM-V 2.6 / MiniCPM-o 2.6.
Bildgenerering
FLUX.1 [dev]/[schnell] fp8 (~15-25 s per 1024x1024); FLUX.1 Kontext; FLUX Tools; SD 3.5 Large; SDXL; HunyuanImage-2.1 bf16 (~34 GB) 2K nativt; Kolors 2.0; AuraFlow; OmniGen v1.
Videogenerering
Wan 2.2 T2V-A14B/I2V-A14B MoE (~54 GB bf16); Wan 2.2 TI2V-5B 720p@24fps; HunyuanVideo 13B Q4-Q5; HunyuanVideo 1.5; CogVideoX-5B; Open-Sora 2.0; Mochi-1; LTX-Video; SVD/SV3D/SV4D; NVIDIA Cosmos Predict 2.
Ljud / tal / TTS
- ASR: Whisper v3 turbo (~50x realtid); Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 3.0; Kokoro 82M; Stable Audio Open; Step-Audio-EditX
- Realtid: Kyutai Moshi (200 ms full duplex); Step-Audio 2 mini; Qwen2.5-Omni-7B
- Musik: MusicGen; AudioGen; Suno Bark; SeamlessM4T v2
Multimodell-serving
- 4-8 samtidiga användare på LLM:er med 32-72B via vLLM / SGLang tensor-parallel
- Blandat: Qwen3-32B + FLUX.1 + Whisper-turbo + Moshi med partitionerat VRAM
- LoRA/QLoRA-finjustering 32-72B; fullparameterträning 7-14B
- RAG med Command R+ eller Qwen3 + BGE-M3/E5/Jina
Målarbetsbelastningar
- Inferens-gateway för en organisation med 50-200 användare (70B Q4-Q6, 4-8 samtidiga sessioner)
- Batch-pipeline för diffusion/video (SDXL + FLUX.1 + Wan 2.2 över natten)
- Labb för LoRA/QLoRA-finjustering för domänanpassning av 7-34B
- RAG-dokumentassistent (Qwen3-VL + BGE-M3 + Command R, 32k ctx)
- Blandat i en enda maskin: chatt + bild + ASR + röst i realtid på partitionerat VRAM
Uppmätt prestanda
Kentino-test | 2026-04-10 | 4x RTX 4090 + EPYC 7542 + ROMED8-2T
| Benchmark | Resultat |
|---|---|
| Varaktig beräkningskraft (fp16) | 647.7 TFLOPS |
| vLLM Llama 3.3 70B AWQ INT4 (enkel) | 8.0 tok/s |
| vLLM Llama 3.3 70B AWQ INT4 (batch-32) | 179.3 tok/s sammanlagt |
| llama.cpp Llama 3.3 70B Q4_K_M (enkel) | 20.3 tok/s |
| Prompt-utvärdering | 1 568 tok/s |
| GPU-minnesbandbredd | 920 GB/s per kort |
| NVMe läs/skriv | 4 589 / 4 213 MB/s |
| Topptemperatur (GPU+CPU-belastning) | 73 C, 0.6% fall |
vLLM använde awq-kärnan — 2-3x möjligt med awq_marlin.
Inte idealisk för
- Täta frontier-modeller på 100B+ med bf16 (DeepSeek V3/R1, GLM-4.5+, Kimi-K2, Mistral Large 3 — kräver 256+ GB VRAM)
- Träning från grunden (konsumentkortet RTX 4090 saknar NVLink)
Garanti och leveranstid
Bygget omfattar montering, BIOS-konfiguration, drivrutinsinstallation, inbränningstest och funktionsverifiering. Leveranstiden beror på komponenttillgång och bekräftas vid beställning.
Rekommenderade tillval
- Uppgradera RAM till 512 GB (lägg till 4x 64 GB DDR4 — fyra DIMM-platser lediga)
- Sekundär 4 TB NVMe-disk för dataset och modeller
- 24U öppet skåp för installationer med flera servrar
De frågor köpare oftast ställer till oss innan de beställer en server.
Hur lång tid tar det?
Maskiner byggda av komponenter vi har i lager skickas snabbt; allt som kräver en viss GPU-generation beror på tillgången. Vi ger dig ett datum innan du betalar, och om det ändras säger vi till i stället för att låta dig upptäcka det själv.
Kan konfigurationen ändras innan ni bygger den?
Nästan alltid. GPU:er, minne, lagring och kylning väljs per order, och den listade konfigurationen är en utgångspunkt snarare än ett fast paket. Behöver du mer VRAM, snabbare lagring eller en annan kyllösning, säg till innan du beställer så offererar vi ändringen.
Kan jag hämta servern personligen?
Det kan du. Vårt lager ligger i Prag och du är välkommen att hämta personligen – de flesta som kommer passar på att gå igenom maskinen med vår ingenjör och ställa de frågor som är krångliga via mejl. För beställningar inom Tjeckien försöker vi också leverera personligen och gå igenom installationen med dig på plats.
Kan jag prata med någon som faktiskt förstår arbetsbelastningen?
Ja. Vi har en ingenjör som arbetar specifikt med AI-system, inte en allmän säljavdelning. Om din fråga gäller batchstorlekar, kvantisering, interconnect eller var din flaskhals kommer att uppstå, så ställ den — det samtalet brukar förändra konfigurationen till det bättre.
Vilken modell kan jag köra på den här konfigurationen?
Ja. Varje maskin monteras, inbränningstestas och benchmarkas på riktiga AI-arbetsbelastningar innan den skickas, och den lämnar oss med en LLM redan installerad och igång. Du kopplar in den, ansluter den till ditt nätverk och börjar arbeta – det enda beslut som återstår är vilket projekt den ska köra först.
Hur testar ni en server före leverans?
Vi kör den mot verkliga AI-arbetsbelastningar i stället för syntetiska poäng: inferensgenomströmning, beteende under ihållande last och temperaturer vid kontinuerlig drift. Du får benchmarkresultaten tillsammans med maskinen, så att den prestanda du blev lovad är den prestanda du kan verifiera redan första dagen.
Är servern redo att köras när den levereras?
Ja. Varje maskin monteras, inbränningstestas och benchmarkas på riktiga AI-arbetsbelastningar innan den skickas, och den lämnar oss med en LLM redan installerad och igång. Du kopplar in den, ansluter den till ditt nätverk och börjar arbeta – det enda beslut som återstår är vilket projekt den ska köra först.
Skickas från vårt lager i EU. Tunga artiklar kan kräva särskild godsfrakt — kontakta oss för en fraktoffert och leveranstid. 2 års begränsad garanti med avancerad RMA-support; förlängd garanti finns.
Inte riktigt vad du behöver?
Berätta om din arbetsbelastning så specificerar vi plattformen kring den – GPU:er, minne, lagring och kylning anpassade efter det du faktiskt kör.