Kentino AI 96 Rome 4090 2644TOPS — serwer inferencyjny AI z 4× RTX 4090
Platforma klasy korporacyjnej, składana i testowana w UE.
Kentino AI 96 Rome 4090 2644TOPS
Serwer inferencyjny z 96 GB VRAM
4x RTX 4090 | EPYC Rome | 2 644 TOPS INT8
Zmierzone na sprzęcie Kentino. Llama 3.3 70B AWQ INT4 przez vLLM 0.19.0.
Serwer inferencyjny 4U do szafy rack z czterema kartami GeForce RTX 4090 połączonymi w pulę 96 GB VRAM, procesorem AMD EPYC 7542 Rome (32C/64T), 256 GB DDR4 ECC, dyskiem systemowym NVMe 2 TB i dwoma zsynchronizowanymi zasilaczami ATX 2 kW. Od razu po uruchomieniu obsługuje vLLM, SGLang, llama.cpp, ComfyUI oraz wszystkie główne stosy inferencyjne dla modeli o otwartych wagach.
Sprzęt
| Komponent | Szczegóły |
|---|---|
| Karty GPU | 4x NVIDIA GeForce RTX 4090 24 GB GDDR6X (450 W, PCIe 4.0 x16) |
| pula VRAM | łącznie 96 GB na 4 kartach |
| CPU | AMD EPYC 7542 Rome (32C/64T, 225 W, 128x PCIe 4.0 lanes) |
| Płyta główna | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Pamięć systemowa | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Pamięć masowa | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Zasilacze | Dwa zasilacze ATX 2 kW z kablem synchronizującym |
| Obudowa | 4U do szafy rack, ukierunkowany przepływ powietrza front-tył |
| Chłodzenie | Chłodzenie wieżowe SP3, 3x przedni + 1x tylny wentylator przemysłowy 120 mm |
| Sieć | Dwa porty 10 GbE na płycie (Intel X550) |
Budżet mocy
- Pobór GPU: 4 x 450 W = 1 800 W
- Łącznie system: ~2 125 W
- Łączna moc zasilaczy: 4 000 W (dwa po 2 kW) — 46.9% zapasu
- Rozdzielone zasilanie — awaria jednego zasilacza oznacza utratę 2 GPU lub 2 GPU wraz z płytą główną
Topologia linii PCIe
128 linii PCIe Gen4 z procesora EPYC do siedmiu slotów x16; cztery zajęte przez karty GPU w trybie Gen4 x16. Bez przełącznika PCIe. Bez NVLink — peer-to-peer na poziomie 19-22 GB/s (pomiar Kentino).
Co można na nim uruchomić
Dzięki 96 GB VRAM połączonym w pulę z 4 kart serwer obsługuje modele LLM o otwartych wagach, modele wizyjne, generowanie obrazu i wideo, AI mowy oraz serwowanie wielu użytkowników naraz.
Modele LLM — tekst / rozumowanie / kodowanie
Czołówka chińska
- Qwen3 / Qwen3.5: Qwen3-72B Q4 (~15-20 tok/s); Qwen3-32B Q6; Qwen3-30B-A3B MoE Q4-Q6; Qwen3-Coder-30B-A3B at 256k; Qwen3.5-122B-A10B Q4; QwQ-32B
- DeepSeek: DeepSeek-R2 32B Q4-Q6 (92.7% AIME 2025); DeepSeek-R1-Distill-Qwen-32B bf16; DeepSeek-V2-Lite 16B
- GLM / Z.ai: GLM-4.5-Air 106B/12B Q4-Q5; GLM-4.6V-Flash; GLM-Zero 9B
- Hunyuan: Hunyuan-A13B Q4-Q6 (~48 GB), 256k ctx, dwutrybowe rozumowanie
- Pozostałe: Seed-OSS-36B Q4 512k ctx; ERNIE-4.5-47B-A3B Q4; Yi-34B Q6; Baichuan-M2-32B; Step-3.5-Flash
Czołówka zachodnia
- Meta Llama: Llama 3.3 70B Q4_K_M (~20 tok/s llama.cpp, ~179 tok/s batch-32 vLLM — pomiar Kentino); Llama 3.1 8B bf16 (~80-120 tok/s); Llama 4 Scout Q4
- Mistral: Small 3 24B bf16; Magistral Small 24B – rozumowanie; Devstral Small 2 24B, 256k ctx; Mixtral 8x7B Q6
- OpenAI: gpt-oss-20b MXFP4 (16 GB); gpt-oss-120b MXFP4 (80 GB, bardzo ciasno)
- Pozostałe: Gemma 3 27B Q6 128k; Phi-4 14B bf16; Nemotron-Super 49B Q4; Granite 4.0 H-Small; OLMo 2 32B; Reka Flash 3; Command R 35B
Modele wizyjno-językowe
Qwen3-VL-8B/32B, Qwen3-VL-30B-A3B, Qwen3-Omni-30B-A3B; InternVL3 do 78B Q4; InternVL3.5-38B; DeepSeek-VL2; Llama 3.2 11B Vision; Pixtral 12B; Molmo 7B; Gemma 3 12B/27B; PaliGemma 2; MiniCPM-V 2.6 / MiniCPM-o 2.6.
Generowanie obrazu
FLUX.1 [dev]/[schnell] fp8 (~15-25 s na obraz 1024x1024); FLUX.1 Kontext; FLUX Tools; SD 3.5 Large; SDXL; HunyuanImage-2.1 bf16 (~34 GB), natywnie 2K; Kolors 2.0; AuraFlow; OmniGen v1.
Generowanie wideo
Wan 2.2 T2V-A14B/I2V-A14B MoE (~54 GB bf16); Wan 2.2 TI2V-5B 720p@24fps; HunyuanVideo 13B Q4-Q5; HunyuanVideo 1.5; CogVideoX-5B; Open-Sora 2.0; Mochi-1; LTX-Video; SVD/SV3D/SV4D; NVIDIA Cosmos Predict 2.
Audio / mowa / TTS
- ASR: Whisper v3 turbo (~50x szybciej niż czas rzeczywisty); Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 3.0; Kokoro 82M; Stable Audio Open; Step-Audio-EditX
- Realtime: Kyutai Moshi (200 ms full-duplex); Step-Audio 2 mini; Qwen2.5-Omni-7B
- Music: MusicGen; AudioGen; Suno Bark; SeamlessM4T v2
Serwowanie wielu modeli
- 4-8 równoczesnych użytkowników na modelach LLM 32-72B przez vLLM / SGLang w trybie tensor-parallel
- Tryb mieszany: Qwen3-32B + FLUX.1 + Whisper-turbo + Moshi z podzieloną pulą VRAM
- Dostrajanie LoRA/QLoRA modeli 32-72B; pełne dostrajanie 7-14B
- RAG z Command R+ lub Qwen3 + BGE-M3/E5/Jina
Docelowe obciążenia
- Brama inferencyjna dla organizacji na 50-200 stanowisk (70B Q4-Q6, 4-8 równoległych sesji)
- Wsadowy potok dyfuzyjny / wideo (SDXL + FLUX.1 + Wan 2.2 w nocy)
- Laboratorium dostrajania LoRA/QLoRA do adaptacji domenowych modeli 7-34B
- Asystent dokumentowy RAG (Qwen3-VL + BGE-M3 + Command R, 32k ctx)
- Tryb mieszany na jednej maszynie: czat + obraz + ASR + głos w czasie rzeczywistym na podzielonej puli VRAM
Zmierzona wydajność
Test Kentino | 2026-04-10 | 4x RTX 4090 + EPYC 7542 + ROMED8-2T
| Benchmark | Wynik |
|---|---|
| Stała moc obliczeniowa (fp16) | 647.7 TFLOPS |
| vLLM Llama 3.3 70B AWQ INT4 (pojedyncze zapytanie) | 8.0 tok/s |
| vLLM Llama 3.3 70B AWQ INT4 (batch-32) | 179.3 tok/s łącznie |
| llama.cpp Llama 3.3 70B Q4_K_M (pojedyncze zapytanie) | 20.3 tok/s |
| Przetwarzanie promptu | 1 568 tok/s |
| Przepustowość pamięci GPU | 920 GB/s na kartę |
| Odczyt/zapis NVMe | 4 589 / 4 213 MB/s |
| Szczyt termiczny (test GPU+CPU) | 73 C, spadek o 0.6% |
vLLM korzystało z jądra awq — z awq_marlin możliwe jest 2-3x więcej.
Nie najlepszy wybór do
- Czołowych modeli gęstych 100B+ w bf16 (DeepSeek V3/R1, GLM-4.5+, Kimi-K2, Mistral Large 3 — wymagają 256+ GB VRAM)
- Trenowania od zera (konsumenckie RTX 4090 nie mają NVLink)
Gwarancja i czas realizacji
Budowa obejmuje montaż, konfigurację BIOS, instalację sterowników, testy wygrzewające i weryfikację funkcjonalną. Czas realizacji zależy od dostępności komponentów i jest potwierdzany przy zamówieniu.
Zalecane dodatki
- Rozbudowa pamięci RAM do 512 GB (dodanie 4x 64 GB DDR4 — cztery sloty DIMM pozostają wolne)
- Dodatkowy dysk NVMe 4 TB na zbiory danych i modele
- Otwarta szafa 24U do wdrożeń wieloserwerowych
Pytania, które kupujący zadają nam najczęściej przed zamówieniem serwera.
Ile to trwa?
Maszyny budowane z podzespołów, które mamy na stanie, wysyłamy szybko; wszystko, co wymaga konkretnej generacji GPU, zależy od dostępności. Termin podajemy przed płatnością, a jeśli się przesunie, informujemy o tym sami, zamiast pozostawiać Państwa w niepewności.
Czy konfigurację można zmienić przed montażem?
Niemal zawsze. Karty GPU, pamięć, nośniki i chłodzenie dobieramy pod konkretne zamówienie, a podana konfiguracja jest punktem wyjścia, a nie sztywnym pakietem. Jeśli potrzebują Państwo więcej VRAM, szybszych nośników lub innego rozwiązania chłodzenia, prosimy o informację przed złożeniem zamówienia — wycenimy zmianę.
Czy serwer można odebrać osobiście?
Jak najbardziej. Nasz magazyn znajduje się w Pradze i zapraszamy po odbiór osobisty — większość osób, które przyjeżdżają, wykorzystuje wizytę na przejrzenie maszyny razem z naszym inżynierem i zadanie pytań, które źle się zadaje mailem. Przy zamówieniach na terenie Czech staramy się również dostarczyć sprzęt osobiście i na miejscu przeprowadzić Państwa przez konfigurację.
Czy można porozmawiać z kimś, kto naprawdę rozumie to obciążenie?
Tak. Mamy inżyniera, który zajmuje się wyłącznie systemami AI, a nie ogólny dział sprzedaży. Jeśli pytanie dotyczy rozmiarów batcha, kwantyzacji, interconnectu albo tego, gdzie pojawi się wąskie gardło — prosimy je zadać. Taka rozmowa zwykle zmienia konfigurację na lepsze.
Jaki model można uruchomić w tej konfiguracji?
Tak. Każda maszyna jest składana, poddawana testom burn-in i benchmarkom na rzeczywistych obciążeniach AI przed wysyłką, a opuszcza nas z zainstalowanym i działającym modelem LLM. Wystarczy ją podłączyć do zasilania i sieci, aby rozpocząć pracę — jedyną decyzją, jaka pozostaje, jest to, który projekt uruchomić jako pierwszy.
Jak testujemy serwer przed wysyłką?
Testujemy go na rzeczywistych obciążeniach AI, a nie na syntetycznych wynikach punktowych: przepustowość inferencji, zachowanie przy trwałym obciążeniu i temperatury w pracy ciągłej. Wyniki benchmarków otrzymują Państwo razem z maszyną, więc obiecana wydajność to dokładnie ta wydajność, którą można zweryfikować pierwszego dnia.
Czy serwer po dostarczeniu jest gotowy do pracy?
Tak. Każda maszyna jest składana, poddawana testom burn-in i benchmarkom na rzeczywistych obciążeniach AI przed wysyłką, a opuszcza nas z zainstalowanym i działającym modelem LLM. Wystarczy ją podłączyć do zasilania i sieci, aby rozpocząć pracę — jedyną decyzją, jaka pozostaje, jest to, który projekt uruchomić jako pierwszy.
Wysyłka z naszego magazynu w UE. Ciężkie przedmioty mogą wymagać zorganizowania transportu spedycyjnego — prosimy o kontakt w sprawie wyceny wysyłki i terminu realizacji. 2-letnia gwarancja ograniczona z zaawansowanym wsparciem RMA; dostępne przedłużenie gwarancji.
Nie znaleźli Państwo tego, czego szukają?
Prosimy opisać swoje obciążenie, a dobierzemy tę platformę pod nie — GPU, pamięć, dyski i chłodzenie dopasowane do tego, co faktycznie Państwo uruchamiają.