Kentino AI 288 Rome L40 — 6× NVIDIA L40 Passive Enterprise (288 GB ECC VRAM)
Platforma klasy korporacyjnej, składana i testowana w UE.
Kentino AI 288 Rome L40 2172TOPS
Serwer klasy enterprise z 288 GB ECC VRAM
6x NVIDIA L40 Passive | EPYC Milan | 2 172 TOPS INT8
Opublikowane dane zewnętrzne. Nie mierzone na sprzęcie Kentino.
Serwer inferencyjny klasy enterprise w obudowie rack 4U z sześcioma pasywnymi kartami serwerowymi NVIDIA L40 Ada Lovelace (po 48 GB ECC), łączącymi się w pulę 288 GB ECC VRAM, procesorem AMD EPYC 7643 Milan (48C/96T), 384 GB DDR4-2666 ECC, dyskiem startowym NVMe 2 TB i dwoma zsynchronizowanymi zasilaczami ATX 2.5 kW. ECC na całej ścieżce danych, konstrukcja stworzona do pracy produkcyjnej 24/7, gdzie liczy się integralność na poziomie bitów i serwisowalne domeny awarii.
Sprzęt
| Komponent | Szczegóły |
|---|---|
| GPU | 6x NVIDIA L40 48 GB ECC (Ada Lovelace, pasywne karty serwerowe, 300 W, PCIe 4.0 x16, dual-slot, 362 INT8 TOPS na kartę) |
| Pula VRAM | 288 GB łącznej pamięci ECC na 6 kartach (wersja L40 PCIe nie ma NVLink) |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128 linii PCIe 4.0) |
| Płyta główna | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Pamięć systemowa | 384 GB DDR4-2666 ECC RDIMM (6x 64 GB — 2 wolne sloty DIMM pozwalają rozbudować do 512 GB) |
| Rozruch / nośniki | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Zasilanie | 2x zasilacz ATX 2.5 kW z kablem synchronizującym (łącznie 5 kW) |
| Obudowa | Rack 4U (układ 6-slotowy) |
| Chłodzenie | Chłodzenie SP3 typu Tower (klasa Arctic Freezer 4U-M) + ukierunkowany przepływ powietrza front-to-back (wentylatory przemysłowe) |
| Sieć | Zintegrowane dwa porty 10 GbE (Intel X550) |
Bilans mocy
- Pobór GPU: 6 x 300 W = 1 800 W
- Cały system przy pełnym obciążeniu: ~2 175 W
- Łączna moc zasilaczy: 5 000 W (dwa zsynchronizowane po 2.5 kW) — 56.5% zapasu
- Dwa zasilacze rozdzielają zasilanie — awaria jednego oznacza utratę 2 GPU albo 2 GPU i płyty głównej
Topologia linii PCIe
ROMED8-2T udostępnia 7x PCIe 4.0 x16 bezpośrednio z EPYC Milan. Sześć slotów obsadzono pasywnymi riserami Gen4 x16 — jeden slot pozostaje wolny na kartę sieciową lub nośnik. Przełącznik PCIe jest zbędny. Natywne łącze L40 to PCIe 4.0 x16, więc nie ma strat przepustowości. Brak NVLink; ruch między GPU odbywa się po PCIe peer-to-peer.
Co można na nim uruchomić
Dzięki 288 GB wspólnej pamięci ECC VRAM na 6 pasywnych kartach L40 serwer obsługuje czołowe modele LLM o otwartych wagach w Q4, równoległe serwowanie wielu modeli, potoki wideo i mediów oraz produkcyjną inferencję 24/7. Uwaga: L40 to Ada Lovelace, nie Blackwell — fp8 jest podnoszone do bf16. Dla maksymalnej efektywności VRAM warto stosować GGUF Q4/Q5 albo AWQ/GPTQ int4.
LLM — tekst / rozumowanie / kodowanie
Czołówka chińska
- Qwen3-235B-A22B Q4 (~132 GB) z bardzo długim kontekstem i hojnym budżetem KV (~15-20 tok/s pojedynczo, dane publikowane)
- GLM-4.5 / 4.6 / 4.7 Q4 (~177 GB) komfortowo przy 6-drożnym TP (~12-18 tok/s pojedynczo, dane publikowane)
- Hunyuan-Large 389B/52B Q3 (~160 GB); ERNIE-4.5-424B-A47B Q3 (~180 GB)
- Qwen3-Coder-480B-A35B Q2 (~160 GB) flagowy agent do kodowania
- MiniMax-M1 / Text-01 Q3 (~180 GB), Lightning Attention z kontekstem 1M
- Qwen3-30B-A3B / QwQ-32B / Qwen3-32B — na jednej karcie, 6 równoległych strumieni
- DeepSeek-R2 32B sparse MoE — jedna karta na strumień, 6 równoczesnych sesji
Czołówka zachodnia
- Llama 3.3 70B bf16 (~142 GB) serwowanie wielodostępne (~17 tok/s pojedynczo, dane publikowane) albo Q4 (~43 GB) w 6 równoległych kopiach
- Llama 4 Scout 109B/17B bf16 (~218 GB, ciasno) albo Q4 (~63 GB) komfortowo
- Mistral Small 3 / Magistral / Devstral Small (24B) bf16 (~40-50 tok/s pojedynczo, dane publikowane)
- Pixtral Large / Mistral Large 2 Q6-Q8 (~90-140 GB)
- Llama-3.1-Nemotron Ultra 253B Q4 (~119 GB)
- gpt-oss-120b MXFP4 (~80 GB przez GGUF na Ada — z zastrzeżeniem o podnoszeniu precyzji na Ada)
- Cohere Command R+ 104B Q4, stos RAG
Modele wizyjno-językowe
Qwen3-VL-235B-A22B Q4; Qwen3-VL-32B; InternVL3.5-78B / 241B-A28B Q4 (~135 GB); Llama 3.2 90B Vision bf16 (~180 GB); Pixtral 12B; Molmo 72B; Gemma 3 12B/27B multimodalne; GLM-4.6V w pełnej precyzji (106B bf16); MiniCPM-o 2.6. Układy NVENC/NVDEC w L40 są szczególnie przydatne w wysokoprzepustowych potokach dokumentowych i wideo dla modeli VLM.
Generowanie obrazów
FLUX.1 [dev] / Kontext / Tools równolegle na wielu workerach (~3.5 s na obraz 1024x1024 na pojedynczej L40 fp8, dane publikowane) — możliwa farma 6x worker ComfyUI; SD 3.5 Large; HunyuanImage-2.1 (17B) bf16; HunyuanDiT; Kolors 2.0; AuraFlow; OmniGen.
Generowanie wideo
Wan 2.2 T2V-A14B / I2V-A14B dual-expert bf16 (~54 GB, ~20-30 s na klip 4s w 720p, dane publikowane); HunyuanVideo 13B bf16 z obydwoma ekspertami; Open-Sora 2.0 bf16; CogVideoX-5B; Mochi-1; LTX-Video; Pyramid Flow; NVIDIA Cosmos Predict 2. Sprzętowe NVENC/NVDEC w L40 obsługuje opisywanie, moderację i transkodowanie na dużą skalę równolegle z generowaniem.
Audio / mowa / TTS
- ASR: Whisper v3 large / turbo; Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2/3; Kokoro 82M; Stable Audio Open; XTTS v2; Step-Audio-EditX
- Czas rzeczywisty / S2S: Kyutai Moshi; Step-Audio 2 mini / R1; Qwen2.5-Omni-7B
Serwowanie wielomodelowe i wielodostępne
- Jednoczesna rezydencja wielu modeli — Qwen3-235B Q4 + FLUX.1 + HunyuanVideo + Whisper-turbo + Moshi + embedder, wszystkie w pamięci
- 6 równoczesnych obciążeń klasy 48 GB (po jednym na kartę): 6x Qwen3-VL-32B albo 6x worker FLUX.1, albo 6x strumień ASR
- 6-drożny tensor-parallel dla modeli MoE 200B+ w Q4 z realnym kontekstem
- Potoki RAG — Command R+ / Qwen3 + reranker + embedder + analiza obrazu na tym samym hoście
Docelowe obciążenia
- Produkcyjny backend inferencji LLM 24/7 — ponad 100 równoczesnych użytkowników na modelu MoE 200B+ w Q4, z ochroną ECC
- Potok media-AI w skali enterprise — opisy + moderacja + miniatury + transkodowanie na 6 równoległych strumieniach przez NVENC/NVDEC
- Wielodostępny SaaS, w którym liczy się izolacja najemców na poziomie fizycznych kart
- Backend RAG z czytnikiem Command R+, rerankerem, embedderem i modelem wizyjnym w całości w pamięci
- Para stawiająca na niezawodność, zastępująca 12x L40 Legacy — dwa serwery Kentino AI 288 to łącznie 576 GB i niezależne domeny awarii
Opublikowane dane wydajnościowe
Dane zewnętrzne | Nie mierzone na sprzęcie Kentino
| Test | Wynik |
|---|---|
| INT8 TOPS na kartę L40 | 362 TOPS |
| Przepustowość pamięci L40 | 864 GB/s na kartę |
| vLLM — Llama 3.3 70B AWQ INT4 na 2x L40 TP (pojedynczo) | ~25-35 tok/s |
| vLLM — Llama 3.3 70B AWQ INT4 na 2x L40 TP (batch-16) | ~150-200 tok/s łącznie |
| llama.cpp — GLM-4.6 Q4 na 6x L40 (pojedynczo) | ~12-18 tok/s |
| FLUX.1 [dev] na pojedynczej L40 fp8 | ~3.5 s na obraz 1024x1024 |
Kentino opublikuje własne pomiary po pierwszej realizacji dla klienta.
Mniej odpowiedni do
- Inferencji natywnie w fp8 z pełną prędkością — Ada podnosi precyzję do bf16; zamiast tego warto użyć GGUF Q4/Q5 albo AWQ/GPTQ int4. Dla natywnego fp8 polecamy Kentino AI 384 Rome RTXPro6000 (Blackwell)
- Trenowania dużych modeli od zera (brak NVLink)
- Budżetowej inferencji dla jednego użytkownika — przy małych obciążeniach 4x L4 lub 4x 5080 wychodzi wyraźnie taniej
- Czołowych modeli gęstych 600B+ w Q4 i wyżej (wymagają puli 576 GB+ — por. 6x RTX Pro 6000)
Gwarancja i czas realizacji
Zestaw obejmuje montaż, konfigurację BIOS-u, instalację sterowników, wygrzewanie, memtest i weryfikację funkcjonalną. Czas realizacji zależy od dostępności podzespołów i jest potwierdzany przy zamówieniu.
Zalecane dodatki
- Rozbudowa pamięci do 512 GB DDR4 (dołożenie 2x 64 GB — 2 sloty DIMM są wolne) dla większego budżetu KV
- Dysk NVMe Gen4 x4 4 TB na bibliotekę modeli
- Pełna szafa rack 24U z zarządzalnym PDU i UPS-em online (kluczowe przy obciążeniach ECC 24/7)
- Drugi, bliźniaczy serwer Kentino AI 288 — zastępuje konfigurację 12x L40 Legacy dwiema niezależnymi domenami awarii
Pytania, które kupujący zadają nam najczęściej przed zamówieniem serwera.
Ile to trwa?
Maszyny budowane z podzespołów, które mamy na stanie, wysyłamy szybko; wszystko, co wymaga konkretnej generacji GPU, zależy od dostępności. Termin podajemy przed płatnością, a jeśli się przesunie, informujemy o tym sami, zamiast pozostawiać Państwa w niepewności.
Czy konfigurację można zmienić przed montażem?
Niemal zawsze. Karty GPU, pamięć, nośniki i chłodzenie dobieramy pod konkretne zamówienie, a podana konfiguracja jest punktem wyjścia, a nie sztywnym pakietem. Jeśli potrzebują Państwo więcej VRAM, szybszych nośników lub innego rozwiązania chłodzenia, prosimy o informację przed złożeniem zamówienia — wycenimy zmianę.
Czy serwer można odebrać osobiście?
Jak najbardziej. Nasz magazyn znajduje się w Pradze i zapraszamy po odbiór osobisty — większość osób, które przyjeżdżają, wykorzystuje wizytę na przejrzenie maszyny razem z naszym inżynierem i zadanie pytań, które źle się zadaje mailem. Przy zamówieniach na terenie Czech staramy się również dostarczyć sprzęt osobiście i na miejscu przeprowadzić Państwa przez konfigurację.
Czy można porozmawiać z kimś, kto naprawdę rozumie to obciążenie?
Tak. Mamy inżyniera, który zajmuje się wyłącznie systemami AI, a nie ogólny dział sprzedaży. Jeśli pytanie dotyczy rozmiarów batcha, kwantyzacji, interconnectu albo tego, gdzie pojawi się wąskie gardło — prosimy je zadać. Taka rozmowa zwykle zmienia konfigurację na lepsze.
Jaki model można uruchomić w tej konfiguracji?
Tak. Każda maszyna jest składana, poddawana testom burn-in i benchmarkom na rzeczywistych obciążeniach AI przed wysyłką, a opuszcza nas z zainstalowanym i działającym modelem LLM. Wystarczy ją podłączyć do zasilania i sieci, aby rozpocząć pracę — jedyną decyzją, jaka pozostaje, jest to, który projekt uruchomić jako pierwszy.
Jak testujemy serwer przed wysyłką?
Testujemy go na rzeczywistych obciążeniach AI, a nie na syntetycznych wynikach punktowych: przepustowość inferencji, zachowanie przy trwałym obciążeniu i temperatury w pracy ciągłej. Wyniki benchmarków otrzymują Państwo razem z maszyną, więc obiecana wydajność to dokładnie ta wydajność, którą można zweryfikować pierwszego dnia.
Czy serwer po dostarczeniu jest gotowy do pracy?
Tak. Każda maszyna jest składana, poddawana testom burn-in i benchmarkom na rzeczywistych obciążeniach AI przed wysyłką, a opuszcza nas z zainstalowanym i działającym modelem LLM. Wystarczy ją podłączyć do zasilania i sieci, aby rozpocząć pracę — jedyną decyzją, jaka pozostaje, jest to, który projekt uruchomić jako pierwszy.
Wysyłka z naszego magazynu w UE. Ciężkie przedmioty mogą wymagać zorganizowania transportu spedycyjnego — prosimy o kontakt w sprawie wyceny wysyłki i terminu realizacji. 2-letnia gwarancja ograniczona z zaawansowanym wsparciem RMA; dostępne przedłużenie gwarancji.
Nie znaleźli Państwo tego, czego szukają?
Prosimy opisać swoje obciążenie, a dobierzemy tę platformę pod nie — GPU, pamięć, dyski i chłodzenie dopasowane do tego, co faktycznie Państwo uruchamiają.