Kentino AI 192 Rome L40 1448TOPS — 4× NVIDIA L40 — EPYC Milan
Platforma klasy korporacyjnej, składana i testowana w UE.
Kentino AI 192 Rome L40 1448TOPS
Serwer inferencyjny klasy enterprise 192 GB ECC
4x NVIDIA L40 pasywne | EPYC Milan | 1 448 TOPS INT8
Cztery pasywne karty L40 klasy centrum danych z pamięcią ECC. Ta sama pula 192 GB co w 8x RTX 4090 — ale w klasie centrum danych, z ochroną ECC i gwarancją OEM.
Serwer inferencyjny 4U do montażu w racku z czterema pasywnymi kartami NVIDIA L40 tworzącymi pulę 192 GB ECC VRAM, procesorem AMD EPYC 7643 Milan (48C/96T), 256 GB DDR4 ECC, dyskiem startowym 2 TB NVMe i dwoma zsynchronizowanymi zasilaczami ATX 2 kW. L40 to siostrzana karta RTX 4090 w wersji do centrów danych — chłodzona pasywnie, wyposażona w ECC, ze sprzętowymi koderami NVENC/NVDEC w układzie i 3-letnią gwarancją NVIDIA OEM. Obsługuje vLLM, SGLang, llama.cpp, Triton i TensorRT-LLM od razu po uruchomieniu.
Sprzęt
| Komponent | Szczegóły |
|---|---|
| Karty GPU | 4x NVIDIA L40 48 GB ECC GDDR6 (Ada Lovelace, pasywne, 300 W, dual-slot, PCIe 4.0 x16) |
| Pula VRAM | 192 GB ECC na 4 kartach (L40 bez NVLink) |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128 linii PCIe 4.0) |
| Płyta główna | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Pamięć systemowa | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Dysk startowy / pamięć masowa | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Zasilanie | Dwa zasilacze ATX 2 kW z kablem synchronizującym |
| Obudowa | 4U do montażu w racku z ukierunkowanym przepływem powietrza przód-tył |
| Chłodzenie | Arctic Freezer 4U-M SP3 tower + 3x 120 mm nawiew z przodu + 1x 120 mm wywiew z tyłu |
| Sieć | Zintegrowane dwa porty 10 GbE (Intel X550) |
Bilans mocy
- Pobór GPU: 4 x 300 W = 1 200 W
- Łącznie przy pełnym obciążeniu: ~1 525 W
- Moc zasilaczy łącznie: 4 000 W (dwa zsynchronizowane 2 kW) — 61.9 % zapasu
- Dwa zasilacze dla rozdzielonego zasilania i możliwości N+1
Topologia linii PCIe
PCIe Gen4 x16 na kartę (L40 natywnie obsługuje Gen4). Bezpośrednie połączenie z root complex pojedynczego EPYC — bez przełącznika PCIe. Bez NVLink — ruch między GPU odbywa się po PCIe peer-to-peer. Trzy sloty x16 pozostają wolne na karty sieciowe lub pamięć masową.
Co można na nim uruchomić
Dzięki 192 GB pamięci ECC VRAM na czterech kartach klasy centrum danych serwer obsługuje czołowe modele MoE 200B+ w Q4, wielodostępowe środowiska enterprise z rygorystycznym SLA oraz produkcyjną inferencję 24/7 bez dryfu wywołanego przekłamaniami bitów.
Modele LLM — tekst / rozumowanie / kodowanie
Czołowe modele chińskie
- Qwen3 / Qwen3.5 (Alibaba): Qwen3-235B-A22B Q4 (~132 GB) z długim kontekstem — konfiguracja flagowa (~12-18 tok/s w pojedynczym strumieniu na 4x L40); Qwen3-Coder-480B-A35B Q2 (~160 GB, ciasno); Qwen3.5-122B-A10B fp8 (~75 GB) z ogromnym KV; Qwen3-32B dense bf16 w wielu równoległych strumieniach
- DeepSeek: DeepSeek-V3/R1/V3.1/V3.2 Q2 (~215 GB z niewielkim przelewem do RAM); DeepSeek-R2 32B — 4 równoległe strumienie, po jednym na kartę
- GLM / Z.ai: GLM-4.5 / 4.6 / 4.7 Q4 (~177 GB) — optymalny wybór w tej klasie; GLM-4.5-Air 106B/12B fp8 lub bf16
- Tencent Hunyuan: Hunyuan-Large Q3 (~160 GB) — MoE 389B z kontekstem 256k; Hunyuan-A13B fp8 (~80 GB) z ogromnym KV
- Baidu ERNIE-4.5-424B Q3 (~180 GB); InternVL3.5-241B-A28B Q4 (~135 GB); Qwen3.5-397B Q3 (~170 GB)
Czołowe modele zachodnie
- Meta Llama: Llama 3.3 70B bf16 z ogromnym KV (~15-18 tok/s w pojedynczym strumieniu na 4x L40); Llama 4 Scout bf16 (~218 GB) ciasno; Llama 4 Maverick 400B/17B Q3 (~188 GB)
- Mistral: Mistral Large 2 / Pixtral Large / Devstral 2 123B Q6 (~102 GB) komfortowo; Mistral Small 3 w wielu strumieniach
- OpenAI (otwarte wagi): gpt-oss-120b MXFP4 (80 GB) z dużym zapasem KV
- NVIDIA Nemotron: Llama-3.1-Nemotron Ultra 253B Q4 (~147 GB); Super 49B bf16 w wielu strumieniach
- Google Gemma 3: 27B multimodalny bf16 — wiele strumieni rezydentnych
- Pozostałe: Cohere Command R+ 104B Q6 (~85 GB); OLMo 3.1 32B; Reka Flash 3 21B; IBM Granite 4.0 H-Small
Modele wizyjno-językowe
InternVL3.5-241B-A28B Q4 (~135 GB); Qwen3-VL-235B-A22B Q4; Qwen3-VL-32B bf16; Llama 3.2 90B Vision bf16 (~180 GB); Pixtral Large 124B Q6-bf16; Molmo 72B bf16; GLM-4.6V 106B fp8; Gemma 3 27B multimodalny w wielu strumieniach; InternVL3 78B bf16; DeepSeek-VL2 w pełnym zakresie.
Generowanie obrazu
FLUX.1 [dev] / [schnell] bf16 z generowaniem równoległym (~3-4 s na obraz 1024x1024 na L40); FLUX.1 Kontext [dev]; FLUX Tools; SD 3.5 Large bf16 x 2-3 równolegle; HunyuanImage-2.1 bf16 (~34 GB) w wielu strumieniach; HunyuanImage-3.0 base (80B MoE, 13B aktywnych) bf16 (~80 GB); HunyuanDiT; Kolors / Kolors 2.0; AuraFlow; OmniGen v1; PixArt-Sigma.
Generowanie wideo
Wan 2.2 T2V-A14B / I2V-A14B MoE bf16 dual-expert w pełnym kontekście; Wan 2.2 TI2V-5B ścieżka szybka; HunyuanVideo 13B bf16 obaj eksperci; HunyuanVideo 1.5; CogVideoX-5B bf16; Open-Sora 2.0 11B bf16; Mochi-1 bf16 (~42 GB) w wielu strumieniach; LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.
Audio / Speech / TTS
- ASR: Whisper v3 large / turbo (~50x czasu rzeczywistego); Parakeet-TDT; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2/3; Kokoro 82M; XTTS v2; Stable Audio Open; Step-Audio-EditX
- Czas rzeczywisty / S2S: Kyutai Moshi 7B; Step-Audio 2 mini/R1; Qwen2.5-Omni-7B
- Muzyka / SFX: MusicGen / AudioGen / Bark; SeamlessM4T v2
Obsługa wielu modeli / wielu klientów
- Produkcyjna bramka LLM dla firm — Qwen3-235B Q4 lub GLM-4.5/4.6 Q4 obsługujące 16-32 równoczesnych użytkowników przy rygorystycznym SLA
- Mieszany stos rezydentny: 235B MoE + FLUX.1 + Whisper-turbo + Moshi z podzieloną pamięcią VRAM i ochroną ECC
- Wideo na żywo + potok AI — sprzętowe kodery NVENC/NVDEC obsługują 6-8 równoległych potoków napisów i moderacji
- Wielodostępowy RAG — embedder po stronie zapytania + czytnik 70B + reranker przy opóźnieniu P99 poniżej sekundy
Docelowe obciążenia
- Produkcyjna inferencja LLM 24/7 na puli 192 GB (Qwen3-235B Q4, GLM-4.5/4.6/4.7 Q4, Llama 4 Scout bf16)
- Wielodostępowa obsługa enterprise z rygorystycznym SLA — niezawodność ECC przy długiej pracy
- Obsługa RAG i bazy wektorowej z równolegle działającymi modelami wyszukiwania wysokiej jakości
- Potoki AI dla mediów i wideo — sprzętowa ścieżka NVENC / NVDEC, rendering VFX, transkrypcja i tłumaczenie
- Wdrożenia w centrach danych wymagające cichej pracy — karty pasywne, niski poziom hałasu w pobliżu biur
Zmierzona wydajność
Źródła publikowane | karta katalogowa NVIDIA L40 + benchmarki społeczności
| Benchmark | Wynik |
|---|---|
| INT8 TOPS na kartę (karta katalogowa NVIDIA) | 362 TOPS |
| Łącznie INT8 TOPS (4 karty) | 1 448 TOPS |
| VRAM na kartę | 48 GB ECC GDDR6, przepustowość 864 GB/s |
| Llama 3.3 70B Q6 przez vLLM (społeczność) | 30-50 tok/s w pojedynczym strumieniu, 150+ tok/s przy batch-16 |
| FLUX.1 [dev] bf16 na L40 (społeczność) | ~3-4 s na obraz 1024x1024 |
| NVENC / NVDEC | Sprzętowe kodery 8. generacji w układzie (potok AI dla wideo) |
Dane pochodzą z zewnętrznych publikacji, nie z pomiarów na sprzęcie Kentino. Własne wyniki Kentino opublikuje po pierwszej realizacji klienckiej.
Mniej odpowiedni do
- Trenowania dużych modeli od zera (brak NVLink, ograniczone obliczenia tensorowe FP8)
- Budżetowej inferencji dla jednego użytkownika (4x L4 lub 2x L40 są wyraźnie tańsze)
- Modeli dense bf16 70B przy bardzo długim kontekście na jednym modelu — lepsze będą 2x RTX Pro 6000 Server Edition (ta sama pula 192 GB, mniejszy narzut TP)
Gwarancja i termin realizacji
3-letnia gwarancja NVIDIA OEM na karty L40 oraz gwarancja Kentino na integrację. Zestaw obejmuje montaż, konfigurację BIOS, instalację sterowników, testy burn-in i weryfikację funkcjonalną. Termin realizacji zależy od dostępności komponentów i jest potwierdzany przy zamówieniu.
Zalecane dodatki
- Rozbudowa RAM do 512 GB (dodanie 4x 64 GB DDR4 — cztery sloty DIMM pozostają wolne)
- Dysk 4 TB NVMe na bibliotekę modeli
- Pełna szafa rack 24U z zarządzalnym PDU i zasilaczem UPS online 5 kVA
Pytania, które kupujący zadają nam najczęściej przed zamówieniem serwera.
Ile to trwa?
Maszyny budowane z podzespołów, które mamy na stanie, wysyłamy szybko; wszystko, co wymaga konkretnej generacji GPU, zależy od dostępności. Termin podajemy przed płatnością, a jeśli się przesunie, informujemy o tym sami, zamiast pozostawiać Państwa w niepewności.
Czy konfigurację można zmienić przed montażem?
Niemal zawsze. Karty GPU, pamięć, nośniki i chłodzenie dobieramy pod konkretne zamówienie, a podana konfiguracja jest punktem wyjścia, a nie sztywnym pakietem. Jeśli potrzebują Państwo więcej VRAM, szybszych nośników lub innego rozwiązania chłodzenia, prosimy o informację przed złożeniem zamówienia — wycenimy zmianę.
Czy serwer można odebrać osobiście?
Jak najbardziej. Nasz magazyn znajduje się w Pradze i zapraszamy po odbiór osobisty — większość osób, które przyjeżdżają, wykorzystuje wizytę na przejrzenie maszyny razem z naszym inżynierem i zadanie pytań, które źle się zadaje mailem. Przy zamówieniach na terenie Czech staramy się również dostarczyć sprzęt osobiście i na miejscu przeprowadzić Państwa przez konfigurację.
Czy można porozmawiać z kimś, kto naprawdę rozumie to obciążenie?
Tak. Mamy inżyniera, który zajmuje się wyłącznie systemami AI, a nie ogólny dział sprzedaży. Jeśli pytanie dotyczy rozmiarów batcha, kwantyzacji, interconnectu albo tego, gdzie pojawi się wąskie gardło — prosimy je zadać. Taka rozmowa zwykle zmienia konfigurację na lepsze.
Jaki model można uruchomić w tej konfiguracji?
Tak. Każda maszyna jest składana, poddawana testom burn-in i benchmarkom na rzeczywistych obciążeniach AI przed wysyłką, a opuszcza nas z zainstalowanym i działającym modelem LLM. Wystarczy ją podłączyć do zasilania i sieci, aby rozpocząć pracę — jedyną decyzją, jaka pozostaje, jest to, który projekt uruchomić jako pierwszy.
Jak testujemy serwer przed wysyłką?
Testujemy go na rzeczywistych obciążeniach AI, a nie na syntetycznych wynikach punktowych: przepustowość inferencji, zachowanie przy trwałym obciążeniu i temperatury w pracy ciągłej. Wyniki benchmarków otrzymują Państwo razem z maszyną, więc obiecana wydajność to dokładnie ta wydajność, którą można zweryfikować pierwszego dnia.
Czy serwer po dostarczeniu jest gotowy do pracy?
Tak. Każda maszyna jest składana, poddawana testom burn-in i benchmarkom na rzeczywistych obciążeniach AI przed wysyłką, a opuszcza nas z zainstalowanym i działającym modelem LLM. Wystarczy ją podłączyć do zasilania i sieci, aby rozpocząć pracę — jedyną decyzją, jaka pozostaje, jest to, który projekt uruchomić jako pierwszy.
Wysyłka z naszego magazynu w UE. Ciężkie przedmioty mogą wymagać zorganizowania transportu spedycyjnego — prosimy o kontakt w sprawie wyceny wysyłki i terminu realizacji. 2-letnia gwarancja ograniczona z zaawansowanym wsparciem RMA; dostępne przedłużenie gwarancji.
Nie znaleźli Państwo tego, czego szukają?
Prosimy opisać swoje obciążenie, a dobierzemy tę platformę pod nie — GPU, pamięć, dyski i chłodzenie dopasowane do tego, co faktycznie Państwo uruchamiają.