Kentino AI 192 Rome RTXPro6000 4000TOPS — 2× RTX Pro 6000 Blackwell Server Edition — EPYC Milan
Platforma klasy korporacyjnej, składana i testowana w UE.
Kentino AI 192 Rome RTXPro6000 4000TOPS
Flagowa para 192 GB ECC Blackwell
2x RTX Pro 6000 Server Edition | EPYC Milan | 4 000 TOPS INT8
Dwie pasywne karty RTX Pro 6000 Blackwell Server Edition — po 96 GB ECC każda. Mniejszy narzut tensor-parallel niż w konfiguracjach 4- i 8-kartowych. Flagowa para do centrum danych.
Serwer inferencyjny 4U do montażu w racku z dwiema pasywnymi kartami RTX Pro 6000 Blackwell Server Edition (96 GB ECC GDDR7 na kartę), jednym procesorem AMD EPYC 7643 Milan (48C/96T), 256 GB DDR4 ECC, dyskiem startowym NVMe 2 TB i pojedynczym zasilaczem ATX 2 kW. Przy gęstym 70B w bf16 i średniej wielkości MoE mniej dużych kart wygrywa z większą liczbą małych — dwukartowy tensor parallelism ma minimalny narzut komunikacyjny, a każda karta 96 GB mieści kompletną kopię większości modeli.
Sprzęt
| Komponent | Szczegóły |
|---|---|
| GPU | 2x NVIDIA RTX Pro 6000 Blackwell Server Edition 96 GB ECC GDDR7 (pasywne, 600 W, PCIe 5.0 x16, dual-slot) |
| Pula VRAM | 192 GB ECC (96 GB x 2) — każda karta mieści samodzielnie model 70B w bf16 |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128 linii PCIe 4.0) |
| Płyta główna | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Pamięć RAM | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Dysk startowy / pamięć masowa | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Zasilacz | 1x 2 kW ATX PSU |
| Obudowa | Rack 4U z kierowanym przepływem powietrza od przodu do tyłu |
| Chłodzenie | Arctic Freezer 4U-M SP3 tower + 3x wentylator wlotowy 120 mm z przodu + 1x wentylator wywiewny 120 mm z tyłu |
| Sieć | Wbudowane podwójne 10 GbE (Intel X550) |
Bilans mocy
- Pobór GPU: 2 x 600 W = 1 200 W
- Łącznie system przy pełnym obciążeniu: ~1 525 W
- Moc zasilacza: 2 000 W (jeden 2 kW) — 23.7 % zapasu
- Jeden zasilacz wystarcza; opcjonalna rozbudowa do dwóch zasilaczy dla redundancji N+1
Topologia linii PCIe
PCIe Gen4 x16 na każdy GPU (karta jest natywnie Gen5; płyta Rome ogranicza do Gen4). Bezpośrednie połączenie z root complex — bez przełącznika PCIe. Brak NVLink — komunikacja peer-to-peer między GPU. Pięć slotów x16 pozostaje wolnych na rozbudowę. Różnica Gen4 wobec Gen5 jest pomijalna dla inferencji przy tej gęstości VRAM.
Co można uruchomić
Przy 192 GB VRAM ECC na zaledwie dwóch kartach Blackwell z natywnym fp8/fp4 to najczystsza droga do gęstego 70B w bf16 i średnich modeli MoE. Dwa niezależne strumienie 70B — po jednym na kartę — albo 200B MoE na obu kartach z minimalnym narzutem dwukierunkowego TP.
LLM — tekst / rozumowanie / kodowanie
Czołówka chińska
- Qwen3 / Qwen3.5 (Alibaba): Qwen3-235B-A22B Q4 (~132 GB) komfortowo z długim ctx (~15-25 tok/s w pojedynczym strumieniu na 2 kartach); Qwen3-Coder-480B-A35B Q2 (~160 GB); Qwen3.5-122B-A10B fp8 (~75 GB); Qwen3-32B gęsty bf16 z ogromnym KV; QwQ-32B bf16
- DeepSeek: DeepSeek-V3/R1 Q2 (~215 GB z niewielkim przelewem do RAM) — Blackwell obsługuje fp8 natywnie; DeepSeek-R2 32B bf16 w dwóch równoległych strumieniach (po jednym na kartę)
- GLM / Z.ai: GLM-4.5 / 4.6 / 4.7 Q4 (~177 GB) — konfiguracja flagowa na tym poziomie; GLM-4.5-Air fp8 lub bf16 z ogromnym KV
- Tencent Hunyuan: Hunyuan-Large Q3 (~160 GB) — 389B MoE z ctx 256k; Hunyuan-A13B natywnie fp8 (~80 GB) z ogromnym KV
- Pozostałe: Baidu ERNIE-4.5-424B Q3 (~180 GB); InternVL3.5-241B-A28B Q4 (~135 GB); MiniMax-M1 Q3 (~180 GB)
Czołówka zachodnia
- Meta Llama: Llama 3.3 70B bf16 na jednej karcie — dwa niezależne równoległe strumienie 70B (~20-30 tok/s na strumień); Llama 4 Scout bf16 (~218 GB, ciasno); Llama 4 Maverick Q3 (~188 GB)
- Mistral: Mistral Large 2 / Pixtral Large / Devstral 2 123B Q6 (~88 GB) na jednej karcie lub bf16 na obu; Mistral Small 3 w wielu strumieniach
- OpenAI (otwarte wagi): gpt-oss-120b natywnie MXFP4 (80 GB) — mieści się na JEDNEJ karcie, dwa niezależne równoległe strumienie
- NVIDIA Nemotron: Llama-3.1-Nemotron Ultra 253B Q4 (~147 GB); Super 49B bf16 na jednej karcie
- Pozostałe: Cohere Command R+ 104B Q6 (~85 GB) na jednej karcie; Google Gemma 3 27B bf16 w wielu równoległych strumieniach
Modele wizyjno-językowe
InternVL3.5-241B-A28B Q4 (~135 GB); Qwen3-VL-235B-A22B Q4; Qwen3-VL-32B bf16 na jednej karcie; Pixtral Large 124B bf16 lub Q6; Llama 3.2 90B Vision bf16 (~180 GB); Molmo 72B bf16 (~144 GB); GLM-4.6V 106B fp8; Gemma 3 27B multimodalny x 2-3 równoległe strumienie.
Generowanie obrazu
FLUX.1 [dev] bf16 w wielu równoległych strumieniach; FLUX.1 Kontext [dev]; FLUX Tools; SD 3.5 Large bf16 równolegle; HunyuanImage-2.1 bf16 (~34 GB) x 2-4 równolegle; HunyuanImage-3.0 base (80B MoE, 13B aktywnych) bf16 — mieści się na jednej karcie; HunyuanDiT; Kolors / Kolors 2.0; AuraFlow; OmniGen v1; PixArt-Sigma.
Generowanie wideo
Wan 2.2 MoE dual-expert bf16 z pełnym kontekstem — mieści się na jednej karcie, dwa równoległe strumienie generowania; Wan 2.2 TI2V-5B; HunyuanVideo 13B bf16 z obydwoma ekspertami; HunyuanVideo 1.5; CogVideoX-5B bf16; Open-Sora 2.0 11B bf16; Mochi-1 bf16 (~42 GB); LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.
Audio / mowa / TTS
- ASR: Whisper v3 large / turbo (~50x czasu rzeczywistego); Parakeet-TDT; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2/3; Kokoro 82M; XTTS v2; Stable Audio Open; Step-Audio-EditX
- Czas rzeczywisty / S2S: Kyutai Moshi 7B; Step-Audio 2 mini/R1; Qwen2.5-Omni-7B
- Muzyka / SFX: MusicGen / AudioGen / Bark; SeamlessM4T v2
Serwowanie wielomodelowe i wielodostępowe
- Dwa niezależne strumienie 70B — po jednym na kartę, najprostsza forma izolacji środowisk
- Gęsty 70B bf16 + stos towarzyszący — LLM na karcie 1, obraz/wideo/audio na karcie 2
- 200B MoE na obu kartach — minimalny narzut tensor-parallel (podział na dwie części)
- Czołówka natywna dla fp8 — rodzina DeepSeek V3, Hunyuan-Large fp8 ze ścieżkami natywnymi Blackwella
Docelowe obciążenia
- Inferencja gęstego 70B bf16 — dwie karty w trybie tensor-parallel z minimalnym narzutem albo jeden model na kartę przy strumieniowaniu
- MoE 100-150B przy Q4-Q6 (GLM-4.5-Air, Qwen3.5-122B-A10B, Hunyuan-A13B, Llama 4 Scout)
- Inferencja czołowych modeli natywnie w FP8 (rodzina DeepSeek V3, Hunyuan, Llama 4) — Blackwell obsługuje fp8 natywnie
- Studio generowania obrazu i wideo w bf16 (Wan 2.2 T2V-A14B, HunyuanVideo 13B, FLUX.1 [dev])
- Analiza dokumentów o długim kontekście (MiniMax-M1, Kimi-K2 1.58-bit UD z przelewem)
Zmierzona wydajność
Publikowane źródła | karta katalogowa NVIDIA RTX Pro 6000 Blackwell Server Edition + benchmarki społeczności
| Benchmark | Wynik |
|---|---|
| INT8 TOPS na kartę (karta katalogowa NVIDIA) | 2 000 TOPS |
| Łączne INT8 TOPS (2 karty) | 4 000 TOPS |
| Przepustowość pamięci na kartę | ~1 800 GB/s, 96 GB ECC GDDR7 |
| Llama 3.3 70B bf16 na kartę (społeczność) | 15-25 tok/s w pojedynczym strumieniu, 60-90 tok/s wsadowo |
| Dwukartowy tensor-parallel 70B (społeczność) | ~30-45 tok/s w pojedynczym strumieniu (oczekiwane) |
| Natywne fp8 na Blackwellu | DeepSeek-V3 fp8 i Hunyuan-A13B fp8 działają bez konwersji do bf16 |
Publikowane źródła zewnętrzne, nie mierzone na sprzęcie Kentino. Kentino opublikuje własne wyniki po pierwszej realizacji klienckiej.
Nie najlepszy wybór do
- Serwowania wielodostępowego o bardzo wysokiej współbieżności — 4x L40 lub 6x L4 lepiej rozkładają obciążenie na większą liczbę kart
- Dużego cache KV przy bardzo długim kontekście — lepszy będzie Kentino AI 384 RTXPro6000 8000TOPS
- Treningu — Kentino nie sprzedaje fabryk NVLink klasy H
- Taniej inferencji przy puli 192 GB — 8x RTX 4090 wypada taniej (kosztem ECC i chłodzenia pasywnego)
Gwarancja i termin realizacji
Trzyletnia gwarancja NVIDIA OEM na RTX Pro 6000 Server Edition plus gwarancja integracyjna Kentino. Budowa obejmuje montaż, konfigurację BIOS, instalację sterowników, testy wygrzewające i weryfikację funkcjonalną. Termin realizacji zależy od dostępności komponentów i jest potwierdzany przy zamówieniu.
Zalecane rozszerzenia
- Rozbudowa do dwóch zsynchronizowanych zasilaczy 2 kW dla redundancji N+1
- Rozbudowa RAM do 512 GB (4 wolne sloty DIMM)
- NVMe 4 TB na duże biblioteki wag i przygotowywanie modeli
- Rozbudowa do konfiguracji 4-kartowej (Kentino AI 384 RTXPro6000 8000TOPS) — obudowa ma zapas slotów
- Szafa rack 24U + UPS online 5 kVA
Pytania, które kupujący zadają nam najczęściej przed zamówieniem serwera.
Ile to trwa?
Maszyny budowane z podzespołów, które mamy na stanie, wysyłamy szybko; wszystko, co wymaga konkretnej generacji GPU, zależy od dostępności. Termin podajemy przed płatnością, a jeśli się przesunie, informujemy o tym sami, zamiast pozostawiać Państwa w niepewności.
Czy konfigurację można zmienić przed montażem?
Niemal zawsze. Karty GPU, pamięć, nośniki i chłodzenie dobieramy pod konkretne zamówienie, a podana konfiguracja jest punktem wyjścia, a nie sztywnym pakietem. Jeśli potrzebują Państwo więcej VRAM, szybszych nośników lub innego rozwiązania chłodzenia, prosimy o informację przed złożeniem zamówienia — wycenimy zmianę.
Czy serwer można odebrać osobiście?
Jak najbardziej. Nasz magazyn znajduje się w Pradze i zapraszamy po odbiór osobisty — większość osób, które przyjeżdżają, wykorzystuje wizytę na przejrzenie maszyny razem z naszym inżynierem i zadanie pytań, które źle się zadaje mailem. Przy zamówieniach na terenie Czech staramy się również dostarczyć sprzęt osobiście i na miejscu przeprowadzić Państwa przez konfigurację.
Czy można porozmawiać z kimś, kto naprawdę rozumie to obciążenie?
Tak. Mamy inżyniera, który zajmuje się wyłącznie systemami AI, a nie ogólny dział sprzedaży. Jeśli pytanie dotyczy rozmiarów batcha, kwantyzacji, interconnectu albo tego, gdzie pojawi się wąskie gardło — prosimy je zadać. Taka rozmowa zwykle zmienia konfigurację na lepsze.
Jaki model można uruchomić w tej konfiguracji?
Tak. Każda maszyna jest składana, poddawana testom burn-in i benchmarkom na rzeczywistych obciążeniach AI przed wysyłką, a opuszcza nas z zainstalowanym i działającym modelem LLM. Wystarczy ją podłączyć do zasilania i sieci, aby rozpocząć pracę — jedyną decyzją, jaka pozostaje, jest to, który projekt uruchomić jako pierwszy.
Jak testujemy serwer przed wysyłką?
Testujemy go na rzeczywistych obciążeniach AI, a nie na syntetycznych wynikach punktowych: przepustowość inferencji, zachowanie przy trwałym obciążeniu i temperatury w pracy ciągłej. Wyniki benchmarków otrzymują Państwo razem z maszyną, więc obiecana wydajność to dokładnie ta wydajność, którą można zweryfikować pierwszego dnia.
Czy serwer po dostarczeniu jest gotowy do pracy?
Tak. Każda maszyna jest składana, poddawana testom burn-in i benchmarkom na rzeczywistych obciążeniach AI przed wysyłką, a opuszcza nas z zainstalowanym i działającym modelem LLM. Wystarczy ją podłączyć do zasilania i sieci, aby rozpocząć pracę — jedyną decyzją, jaka pozostaje, jest to, który projekt uruchomić jako pierwszy.
Wysyłka z naszego magazynu w UE. Ciężkie przedmioty mogą wymagać zorganizowania transportu spedycyjnego — prosimy o kontakt w sprawie wyceny wysyłki i terminu realizacji. 2-letnia gwarancja ograniczona z zaawansowanym wsparciem RMA; dostępne przedłużenie gwarancji.
Nie znaleźli Państwo tego, czego szukają?
Prosimy opisać swoje obciążenie, a dobierzemy tę platformę pod nie — GPU, pamięć, dyski i chłodzenie dopasowane do tego, co faktycznie Państwo uruchamiają.