Kentino AI 64 Rome 5090 3352TOPS — Blackwell AI-server på instegsnivå med 2x RTX 5090
Plattform i företagsklass, monterad och testad i EU.
Kentino AI 64 Rome 5090 3352TOPS
Blackwell-server med 2 GPU:er på instegsnivå
2x RTX 5090 | EPYC Milan | 3 352 TOPS INT8
Blackwell-server med 2 GPU:er på instegsnivå — 64 GB poolat VRAM, 3 352 INT8 TOPS, nativ fp8. Steget upp från Ada till Blackwell jämfört med 2x4090.
En AI-server med två Blackwell-GPU:er, byggd på ROMED8-2T / EPYC Milan. Två RTX 5090 ger en poolad VRAM-ram på 64 GB med nativ fp8-tensormatematik — ungefär dubbla råa TOPS jämfört med 2x RTX 4090 i samma chassistorlek, och den första nivån med 2 GPU:er som bekvämt kör Llama 3.3 70B Q4, Qwen3.5-122B-A10B Q4 och HunyuanVideo i bf16 / fp8 med marginal.
Hårdvara
| Komponent | Detalj |
|---|---|
| GPU:er | 2x NVIDIA GeForce RTX 5090 32 GB GDDR7 (575 W, PCIe 5.0 x16, Blackwell) |
| VRAM-pool | 64 GB |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x PCIe 4.0-banor) |
| Moderkort | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| System-RAM | 128 GB DDR4-2666 ECC RDIMM (2x 64 GB) |
| Boot / lagring | 1 TB NVMe M.2 (PCIe 4.0 x4) |
| Nätaggregat | Ett ATX-nätaggregat på 2 kW |
| Chassi | 4U för rackmontering, passiva Gen4 x16-risers |
| Kylning | SP3-tornkylare, 3x 120 mm intag fram + 1x 120 mm utblås bak (industrifläktar) |
| Nätverk | Inbyggd dubbel 10 GbE (Intel X550) + IPMI |
Effektbudget
- GPU-förbrukning: 2 x 575 W = 1 150 W
- Systemtotal vid full last: ~1 475 W
- Nätaggregat totalt: 2 000 W (ett 2 kW ATX) — 26.25 % marginal
- Fungerande marginal med ett nätaggregat; uppgradering till dubbla nätaggregat finns för extra marginal
Banotopologi
ROMED8-2T fördelar 2x16 Gen4 från CPU:ns root complex. 5090 är Gen5-kisel som kör Gen4 x16 utan bandbreddsförlust vid inferens. Ingen PCIe-switch. Ingen NVLink på GeForce 5090 — tensor-parallell 2-vägs P2P går via PCIe.
Vad du kan köra
Med 64 GB poolat GDDR7 VRAM fördelat på 2 Blackwell-kort hanterar servern 70B Q4 tensor-parallellt, MoE-flaggskepp, bildgenerering i nativ fp8, video-AI och samtidig servering av flera modeller.
LLM:er — text / resonemang / kodning
Kinesisk frontlinje
- Qwen3-32B Q8 / bf16 (nära fp16-kvalitet) (~40-55 tok/s single-stream på Blackwell fp8, publicerad referens)
- QwQ-32B bf16; Qwen3-30B-A3B / Coder-30B-A3B bf16 (~60 GB ryms)
- Qwen3.5-122B-A10B Q4 (~70-75 GB med RAM-spill) — MoE-flaggskepp ryms i Q4
- Hunyuan-A13B fp8 (~80 GB, snävt) eller Q6 (~36 GB med god marginal)
- Seed-OSS-36B bf16 (~72 GB, snävt — välj hellre fp8 ~36 GB)
- DeepSeek-R2 32B gles MoE bf16
- GLM-4.5-Air 106B/12B Q4_K_M (~60 GB) — MoE med marginal
- ERNIE-4.5-47B-A3B Q6-Q8
Västerländsk frontlinje
- Llama 3.3 70B Q4_K_M (~43 GB) — huvudarbetsbelastningen för den här nivån (~20-28 tok/s single-stream på 2x 5090, publicerad referens)
- Hermes 3 70B / Tulu 3 70B Q4 — öppna Llama-derivat med post-training
- Mistral Small 3 / Magistral / Devstral Small 2 24B bf16; Mixtral 8x7B bf16
- Gemma 3 27B multimodal bf16 + marginal för resonemang
- Phi-4 14B bf16; Nemotron-Super 49B Q6-Q8
- gpt-oss-20b MXFP4 (16 GB) + gpt-oss-120b MXFP4 (80 GB — ryms snävt med kort ctx)
- OLMo 2 32B / OLMo 3.1-32B-Think bf16
Vision-language
Qwen3-VL-32B / Qwen3-VL-30B-A3B / Qwen3-Omni-30B-A3B bf16; InternVL3.5-38B bf16; Llama 3.2 90B Vision Q4 (~52 GB); Pixtral 12B bf16; Pixtral Large 124B Q3 (~58 GB, snävt); Gemma 3 27B multimodal bf16; PaliGemma 2 28B bf16; Molmo 72B Q4 (~45 GB).
Bildgenerering
Nativ fp8 i 5090 är det stora hastighetslyftet — FLUX.1 / SD 3.5 / HunyuanImage körs märkbart snabbare än på Ada: FLUX.1 [dev] / [schnell] nativ fp8 (~12 GB) med 2x parallellt över korten (~8-12 sekunder per bild i 1024x1024 på Blackwell, publicerad referens); FLUX.1 Kontext [dev]; SD 3.5 Large (18 GB fp16 eller 11 GB fp8); SDXL 1.0; HunyuanImage-2.1 bf16 (~34 GB); HunyuanImage-3.0 NF4; AuraFlow v0.3 / OmniGen v1 / Kolors 2.0.
Videogenerering
Wan 2.2 T2V-A14B / I2V-A14B bf16 (~54 GB totalt) — MoE med två experter i full precision; Wan 2.2 TI2V-5B bf16 per kort, 2 parallella tenants; HunyuanVideo 13B Q4-Q5 (~30 GB), fp8 snävt; HunyuanVideo 1.5 (8.3B) bf16 per kort; Open-Sora 2.0 (11B) bf16; CogVideoX-5B / 1.5 bf16; Mochi-1 bf16 (~42 GB ryms); LTX-Video 2B; NVIDIA Cosmos Predict 2.
Ljud / tal / TTS
Samma kompletta kinesiska + västerländska talstack som på 4090-nivån ryms med mer marginal: Whisper v3 + Parakeet + Canary + Moshi + Step-Audio 2 / R1 + CosyVoice 3.0 + Kokoro + Stable Audio Open + MusicGen + AudioGen + SeamlessM4T v2 + MMS. På 5090 med nativ fp8 avkodar Whisper / Parakeet med märkbart högre realtidsfaktor. Whisper v3 turbo körs i ~75x realtid på Blackwell (publicerad referens).
Flera modeller / multi-tenant
- Resident stack: Llama 3.3 70B Q4 (~43 GB tensor-parallellt 2-vägs) + FLUX.1 fp8 (~12 GB) + Whisper-turbo + Moshi
- 2-4 samtidiga tenants i 32B-klassen med Q6-Q8 per kort
- LoRA-/QLoRA-finjustering av 7-14B bekvämt, 24-32B snävt
Målarbetsbelastningar
- Utvecklararbetsstation för små team med marginal för 70B Q4-servering
- Blackwell-steget upp från en maskin med 2x RTX 4090 — samma chassi, ~2.5x TOPS, nativ fp8
- Arbetsstation för bild- och videogenerering med FLUX-acceleration i nativ fp8
- Maskin för samtidiga modeller: 70B Q4 + FLUX + Whisper + Moshi residenta samtidigt
- Inferensendpoint för 4-8 samtidiga användare för LLM:er i 32B-klassen
Publicerade prestandareferenser
Publicerad referens | jämförbar hårdvara med 2x RTX 5090
| Benchmark | Resultat |
|---|---|
| Llama 3.3 70B Q4_K_M llama.cpp-avkodning | ~20-28 tok/s single-stream |
| Qwen3-32B Q8 vLLM single-stream | ~45-60 tok/s avkodning vid fp8 |
| FLUX.1 [dev] fp8 nativ Blackwell | ~1.5-1.9 s per 1024x1024 vid 20 steg |
| HunyuanVideo 13B Q5 TP-2 | 5 s 720p på ~5-7 min |
Publicerat, inte uppmätt på Kentino-hårdvara. Kentinos uppmätta referens på 4x RTX 4090: 647 TFLOPS fp16, 179 tok/s batch-32 sammanlagt.
Mindre lämplig för
- Täta 100B+-modeller i bf16 (DeepSeek-V3, Kimi K2, Mistral Large 3 — kräver 256+ GB-pool)
- Videogenerering på frontlinjenivå i bf16, långa format i full upplösning
Garanti och leveranstid
Bygget omfattar montering, BIOS-konfiguration, drivrutinsinstallation, inbränningstest och funktionsverifiering. Leveranstiden beror på komponenttillgång och bekräftas vid beställning.
Rekommenderade tillval
- NVIDIA ConnectX-5 100 GbE MCX555A-ECAT
- Uppgradera bootdisken till 2 TB NVMe — eller 4 TB
- Uppgradera RAM till 256 GB (4x 64 GB) — marginal för MoE KV-cache / samtidig servering av flera modeller
- Rack-PDU (C13/C19 med mätning) och 3 kVA online-UPS
De frågor köpare oftast ställer till oss innan de beställer en server.
Hur lång tid tar det?
Maskiner byggda av komponenter vi har i lager skickas snabbt; allt som kräver en viss GPU-generation beror på tillgången. Vi ger dig ett datum innan du betalar, och om det ändras säger vi till i stället för att låta dig upptäcka det själv.
Kan konfigurationen ändras innan ni bygger den?
Nästan alltid. GPU:er, minne, lagring och kylning väljs per order, och den listade konfigurationen är en utgångspunkt snarare än ett fast paket. Behöver du mer VRAM, snabbare lagring eller en annan kyllösning, säg till innan du beställer så offererar vi ändringen.
Kan jag hämta servern personligen?
Det kan du. Vårt lager ligger i Prag och du är välkommen att hämta personligen – de flesta som kommer passar på att gå igenom maskinen med vår ingenjör och ställa de frågor som är krångliga via mejl. För beställningar inom Tjeckien försöker vi också leverera personligen och gå igenom installationen med dig på plats.
Kan jag prata med någon som faktiskt förstår arbetsbelastningen?
Ja. Vi har en ingenjör som arbetar specifikt med AI-system, inte en allmän säljavdelning. Om din fråga gäller batchstorlekar, kvantisering, interconnect eller var din flaskhals kommer att uppstå, så ställ den — det samtalet brukar förändra konfigurationen till det bättre.
Vilken modell kan jag köra på den här konfigurationen?
Ja. Varje maskin monteras, inbränningstestas och benchmarkas på riktiga AI-arbetsbelastningar innan den skickas, och den lämnar oss med en LLM redan installerad och igång. Du kopplar in den, ansluter den till ditt nätverk och börjar arbeta – det enda beslut som återstår är vilket projekt den ska köra först.
Hur testar ni en server före leverans?
Vi kör den mot verkliga AI-arbetsbelastningar i stället för syntetiska poäng: inferensgenomströmning, beteende under ihållande last och temperaturer vid kontinuerlig drift. Du får benchmarkresultaten tillsammans med maskinen, så att den prestanda du blev lovad är den prestanda du kan verifiera redan första dagen.
Är servern redo att köras när den levereras?
Ja. Varje maskin monteras, inbränningstestas och benchmarkas på riktiga AI-arbetsbelastningar innan den skickas, och den lämnar oss med en LLM redan installerad och igång. Du kopplar in den, ansluter den till ditt nätverk och börjar arbeta – det enda beslut som återstår är vilket projekt den ska köra först.
Skickas från vårt lager i EU. Tunga artiklar kan kräva särskild godsfrakt — kontakta oss för en fraktoffert och leveranstid. 2 års begränsad garanti med avancerad RMA-support; förlängd garanti finns.
Inte riktigt vad du behöver?
Berätta om din arbetsbelastning så specificerar vi plattformen kring den – GPU:er, minne, lagring och kylning anpassade efter det du faktiskt kör.