Kentino AI 128 Rome 5090 6704TOPS — 4× RTX 5090 serwer AI
Platforma klasy korporacyjnej, składana i testowana w UE.
Kentino AI 128 Rome 5090 6704TOPS
Serwer inferencyjny Blackwell ze 128 GB VRAM
4x RTX 5090 | EPYC Milan | 6 704 TOPS INT8
Cztery karty Blackwell RTX 5090 z natywnymi ścieżkami tensorowymi fp8/fp4. Najwydajniejsza konfiguracja 4-GPU na platformie Rome.
Serwer inferencyjny do montażu w racku 4U z czterema kartami GeForce RTX 5090 łączącymi się w pulę 128 GB VRAM, jednym procesorem AMD EPYC 7643 Milan (48C/96T), 512 GB DDR4 ECC (wszystkie 8 slotów DIMM obsadzonych dla maksymalnej przepustowości), dyskiem systemowym NVMe 2 TB i dwoma zsynchronizowanymi zasilaczami ATX 2 kW. Obsługuje vLLM, SGLang, llama.cpp i ComfyUI z natywnymi dla Blackwella kernelami inferencyjnymi fp8 oraz MXFP4.
Sprzęt
| Komponent | Szczegóły |
|---|---|
| Karty GPU | 4x NVIDIA GeForce RTX 5090 32 GB GDDR7 (Blackwell, 575 W, PCIe 5.0 x16) |
| pula VRAM | 128 GB łącznie na 4 kartach (brak NVLink w konsumenckim 5090) |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128 linii PCIe 4.0) |
| Płyta główna | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Pamięć RAM | 512 GB DDR4-2666 ECC RDIMM (8x 64 GB — wszystkie sloty DIMM obsadzone) |
| Dysk systemowy / pamięć masowa | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Zasilacz | Dwa zasilacze ATX 2 kW z kablem synchronizującym + zestaw przejściówek 12VHPWR |
| Obudowa | Rack 4U, 4x GPU, pasywne risery PCIe 4.0 x16 |
| Chłodzenie | Chłodzenie Arctic Freezer 4U-M SP3 w układzie tower + 3x nawiew 120 mm z przodu + 1x wywiew 120 mm z tyłu |
| Sieć | Zintegrowane podwójne 10 GbE (Intel X550) |
Bilans mocy
- Pobór GPU: 4 x 575 W = 2 300 W
- Cały system przy pełnym obciążeniu: ~2 650 W
- Łączna moc zasilaczy: 4 000 W (dwa 2 kW zsynchronizowane) — 33.8 % zapasu
- Dwa zasilacze dzielą między siebie dostarczanie mocy — każdy zasila część systemu
Topologia linii PCIe
ROMED8-2T rozprowadza 128 linii PCIe Gen4 z procesora EPYC bezpośrednio do siedmiu slotów x16; cztery z nich obsadzone są kartami GPU w trybie Gen4 x16. Bez przełącznika PCIe. Brak NVLink w konsumenckim 5090 — komunikacja peer-to-peer między GPU. Karty są natywnie Gen5; platforma Rome ogranicza je do Gen4.
Co można na nim uruchomić
Dzięki puli 128 GB VRAM i natywnym dla Blackwella ścieżkom tensorowym fp8 serwer ten obsługuje Qwen3-235B-A22B Q4 oraz gpt-oss-120b MXFP4 z realnym zapasem na KV — czyli więcej, niż są w stanie osiągnąć 4 karty RTX 4090.
LLM — tekst / rozumowanie / kodowanie
Chińska czołówka
- Qwen3 / Qwen3.5 (Alibaba): Qwen3-235B-A22B Q3-Q4 (~112-132 GB) mieści się w puli 128 GB przy kontekście 8-16k — konfiguracja flagowa; Qwen3-32B dense bf16 (~65 GB) z ogromnym zapasem na KV; Qwen3-Coder-30B-A3B agentowo przy kontekście 1M; Qwen3.5-122B-A10B Q6/fp8 (~75-80 GB); QwQ-32B bf16 do rozumowania
- DeepSeek: DeepSeek-V3/R1/V3.1/V3.2 natywnie fp8 w Q2 (~215 GB) z przeniesieniem części wag do 512 GB RAM hosta — wykonalne przy przetwarzaniu wsadowym; DeepSeek-R2 32B bf16 w wielu strumieniach (4 równolegle, po jednym na kartę)
- GLM / Z.ai: GLM-4.5-Air 106B/12B fp8 (~106 GB) lub wygodnie w Q6; GLM-4.5/4.6/4.7 Q2_K_XL (~135 GB) na styk, z odciążeniem MoE
- Tencent Hunyuan: Hunyuan-A13B natywnie fp8 (~80 GB) — Blackwell obsługuje fp8 bez kary za konwersję w górę; Hunyuan-Large Q2 z przeniesieniem do RAM
- ByteDance Seed-OSS-36B bf16 z natywnym kontekstem 512k; ERNIE-4.5-424B Q2 (~150 GB z przeniesieniem do RAM)
Zachodnia czołówka
- Meta Llama: Llama 3.3 70B Q4 na 4 kartach 5090 (~30-40 tok/s w pojedynczym strumieniu, ~270+ tok/s wsadowo po 32 w vLLM); Llama 4 Scout 109B/17B MoE fp8/Q6 (~90 GB); Llama 4 Maverick 400B/17B Q3 (~188 GB z przeniesieniem do RAM)
- Mistral: Mistral Small 3 / Magistral / Devstral Small 2 (24B) bf16 w wielu strumieniach; Pixtral Large / Mistral Large 2 (123B) Q6 (~88 GB)
- OpenAI (otwarte wagi): gpt-oss-120b natywnie MXFP4 (80 GB) z realnym zapasem na KV i długim kontekstem — flagowe obciążenie dla Blackwella; gpt-oss-20b MXFP4
- Google Gemma 3: 27B multimodalny bf16 (~54 GB), dwa równoległe strumienie; 12B / 4B
- Microsoft Phi-4 14B dense bf16; destylowany Phi-4-reasoning
- NVIDIA Nemotron: Llama-3.1-Nemotron Ultra 253B Q3 (~119 GB) na styk; Super 49B bf16 (~98 GB)
- Pozostałe: Cohere Command R+ 104B Q6 (~85 GB); Molmo 72B Q6-bf16 VLM; OLMo 2 32B; IBM Granite 4.0 H-Small
Modele wizyjno-językowe
Qwen3-VL-235B-A22B Q3-Q4; Qwen3-VL-32B bf16; InternVL3.5-241B-A28B Q4 (~135 GB, na styk); InternVL3 78B bf16; Llama 3.2 90B Vision Q6 (~74 GB); Pixtral Large 124B Q6 (~88 GB); Molmo 72B Q6/bf16; Gemma 3 27B multimodalny bf16; GLM-4.6V 106B fp8.
Generowanie obrazów
FLUX.1 [dev] w bf16 i fp8 (~10-18 s na obraz przy fp8); FLUX.1 Kontext [dev]; SD 3.5 Large bf16; HunyuanImage-2.1 bf16 oraz Q4; HunyuanImage-3.0 base (80B MoE, 13B aktywnych) bf16 (~80 GB, flagowy rozmiar); HunyuanDiT; Kolors / Kolors 2.0; AuraFlow v0.3; OmniGen v1; PixArt-Sigma.
Generowanie wideo
Wan 2.2 MoE z dwoma ekspertami bf16 (~54 GB, pełny kontekst); Wan 2.2 TI2V-5B; HunyuanVideo 13B bf16 z obydwoma ekspertami (~60-80 GB); HunyuanVideo 1.5; CogVideoX-5B bf16; Open-Sora 2.0 11B bf16 (~24 GB); Genmo Mochi-1 bf16 (~42 GB); LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos.
Audio / mowa / TTS
- ASR: Whisper v3 large / turbo (~50x szybciej niż czas rzeczywisty); Parakeet-TDT; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2 / 3; Kokoro 82M; Stable Audio Open; XTTS v2; StyleTTS 2; Step-Audio-EditX
- Czas rzeczywisty / S2S: Kyutai Moshi 7B; Step-Audio 2 mini/R1; Qwen2.5-Omni-7B
- Muzyka / efekty dźwiękowe: MusicGen / AudioGen / Bark; SeamlessM4T v2
Obsługa wielu modeli i wielu użytkowników
- Modele MoE 200B w Q4 z inferencją wsadową (Qwen3-235B, GLM-4.5/4.6/4.7-Air) dla 8-16 równoczesnych użytkowników
- Czołówka natywnie fp8 — rodzina DeepSeek V3, Hunyuan-Large fp8 z natywnymi ścieżkami Blackwella
- Mieszany stos rezydentny: gpt-oss-120b MXFP4 + FLUX.1 + Whisper + Moshi na podzielonej pamięci VRAM
- Wysoka przepustowość na 70B — równoległość tensorowa w vLLM / SGLang przy łącznej wydajności 200+ tok/s wsadowo
Docelowe obciążenia
- Produkcyjna obsługa modeli MoE 200B+ w Q3-Q4 z realnym zapasem na KV (Qwen3-235B, GLM-4.5-Air 106B)
- Inferencja natywnie fp8 w modelach z czołówki (DeepSeek V3/R1 fp8, Hunyuan fp8) — Blackwell pracuje bez konwersji w górę
- Wysokoprzepustowa obsługa modeli 70B — przetwarzanie wsadowe z równoległością tensorową w vLLM lub SGLang
- Studio generowania wideo w bf16 (Wan 2.2 z dwoma ekspertami, HunyuanVideo 13B, Mochi-1)
- Mieszane obciążenie wielu użytkowników — MoE 120B + generowanie obrazów + głos w czasie rzeczywistym jednocześnie w pamięci
Zmierzona wydajność
Opublikowane źródła | karta katalogowa NVIDIA RTX 5090 + benchmarki społeczności
| Benchmark | Wynik |
|---|---|
| INT8 TOPS na kartę (karta katalogowa NVIDIA) | 1 676 TOPS |
| Łączne INT8 TOPS (4 karty) | 6 704 TOPS |
| Przepustowość pamięci na kartę | ~1 792 GB/s |
| Llama 3.3 70B Q6 przez vLLM (dane społeczności) | 60-90 tok/s w pojedynczym strumieniu, 300+ tok/s wsadowo |
| Qwen3-235B-A22B Q3-Q4 | Mieści się w puli 128 GB przy kontekście 8-16k |
| gpt-oss-120b natywnie MXFP4 | 80 GB — komfortowo, z zapasem na KV |
Opublikowane źródła zewnętrzne, nie zmierzone na sprzęcie Kentino. Kentino opublikuje własne wyniki po pierwszej realizacji dla klienta.
Nieodpowiedni do
- Modeli z czołówki 400B+ w Q4 (Kimi-K2, Mistral Large 3, Intern-S1-Pro — wymagają 8 kart GPU lub 6x RTX Pro 6000)
- Obciążeń wrażliwych na łącze PCIe Gen5 — w takim wypadku lepsza jest wersja na platformie Genoa z natywnym Gen5 x16
- Treningu od zera (brak NVLink w konsumenckim 5090)
- Produkcji 24/7 wrażliwej na ECC — konsumencki 5090 nie ma ECC; lepsze będą L40 lub RTX Pro 6000 Server Edition
Gwarancja i czas realizacji
Realizacja obejmuje montaż, konfigurację BIOS, instalację sterowników, testy wygrzewające i weryfikację działania. Czas realizacji zależy od dostępności komponentów i jest potwierdzany przy składaniu zamówienia.
Zalecane dodatki
- Zwiększenie mocy zasilaczy do dwóch 2.5 kW (FSP) na potrzeby długotrwałej pracy w najgorszym scenariuszu bf16 + wideo — zalecane przy pracy 24/7
- Dysk NVMe 4 TB na bibliotekę modeli i przygotowanie wag MoE
- Otwarta szafa 24U przy wdrożeniu wielu serwerów
- Wariant na platformie Genoa z łączem Gen5 x16 — dostępny na życzenie
Pytania, które kupujący zadają nam najczęściej przed zamówieniem serwera.
Ile to trwa?
Maszyny budowane z podzespołów, które mamy na stanie, wysyłamy szybko; wszystko, co wymaga konkretnej generacji GPU, zależy od dostępności. Termin podajemy przed płatnością, a jeśli się przesunie, informujemy o tym sami, zamiast pozostawiać Państwa w niepewności.
Czy konfigurację można zmienić przed montażem?
Niemal zawsze. Karty GPU, pamięć, nośniki i chłodzenie dobieramy pod konkretne zamówienie, a podana konfiguracja jest punktem wyjścia, a nie sztywnym pakietem. Jeśli potrzebują Państwo więcej VRAM, szybszych nośników lub innego rozwiązania chłodzenia, prosimy o informację przed złożeniem zamówienia — wycenimy zmianę.
Czy serwer można odebrać osobiście?
Jak najbardziej. Nasz magazyn znajduje się w Pradze i zapraszamy po odbiór osobisty — większość osób, które przyjeżdżają, wykorzystuje wizytę na przejrzenie maszyny razem z naszym inżynierem i zadanie pytań, które źle się zadaje mailem. Przy zamówieniach na terenie Czech staramy się również dostarczyć sprzęt osobiście i na miejscu przeprowadzić Państwa przez konfigurację.
Czy można porozmawiać z kimś, kto naprawdę rozumie to obciążenie?
Tak. Mamy inżyniera, który zajmuje się wyłącznie systemami AI, a nie ogólny dział sprzedaży. Jeśli pytanie dotyczy rozmiarów batcha, kwantyzacji, interconnectu albo tego, gdzie pojawi się wąskie gardło — prosimy je zadać. Taka rozmowa zwykle zmienia konfigurację na lepsze.
Jaki model można uruchomić w tej konfiguracji?
Tak. Każda maszyna jest składana, poddawana testom burn-in i benchmarkom na rzeczywistych obciążeniach AI przed wysyłką, a opuszcza nas z zainstalowanym i działającym modelem LLM. Wystarczy ją podłączyć do zasilania i sieci, aby rozpocząć pracę — jedyną decyzją, jaka pozostaje, jest to, który projekt uruchomić jako pierwszy.
Jak testujemy serwer przed wysyłką?
Testujemy go na rzeczywistych obciążeniach AI, a nie na syntetycznych wynikach punktowych: przepustowość inferencji, zachowanie przy trwałym obciążeniu i temperatury w pracy ciągłej. Wyniki benchmarków otrzymują Państwo razem z maszyną, więc obiecana wydajność to dokładnie ta wydajność, którą można zweryfikować pierwszego dnia.
Czy serwer po dostarczeniu jest gotowy do pracy?
Tak. Każda maszyna jest składana, poddawana testom burn-in i benchmarkom na rzeczywistych obciążeniach AI przed wysyłką, a opuszcza nas z zainstalowanym i działającym modelem LLM. Wystarczy ją podłączyć do zasilania i sieci, aby rozpocząć pracę — jedyną decyzją, jaka pozostaje, jest to, który projekt uruchomić jako pierwszy.
Wysyłka z naszego magazynu w UE. Ciężkie przedmioty mogą wymagać zorganizowania transportu spedycyjnego — prosimy o kontakt w sprawie wyceny wysyłki i terminu realizacji. 2-letnia gwarancja ograniczona z zaawansowanym wsparciem RMA; dostępne przedłużenie gwarancji.
Nie znaleźli Państwo tego, czego szukają?
Prosimy opisać swoje obciążenie, a dobierzemy tę platformę pod nie — GPU, pamięć, dyski i chłodzenie dopasowane do tego, co faktycznie Państwo uruchamiają.