Kentino AI 192 Rome L40 1448TOPS — 4× NVIDIA L40 — EPYC Milan
Plateforme de qualité professionnelle, assemblée et testée dans l'UE.
Kentino AI 192 Rome L40 1448TOPS
Serveur d'inférence d'entreprise 192 GB ECC
4x NVIDIA L40 passives | EPYC Milan | 1 448 TOPS INT8
Quatre cartes L40 passives de centre de données avec mémoire ECC. Le même pool de 192 GB que 8x RTX 4090 — mais en qualité centre de données, protégé par ECC et garanti par le constructeur.
Un serveur d'inférence rack 4U doté de quatre cartes NVIDIA L40 passives réunies en un pool de 192 GB de VRAM ECC, d'un processeur AMD EPYC 7643 Milan (48C/96T), de 256 GB de DDR4 ECC, d'un NVMe de 2 TB pour le démarrage et de deux alimentations ATX de 2 kW synchronisées. La L40 est la cousine « centre de données » de la RTX 4090 — refroidie passivement, équipée d'ECC, avec encodeurs matériels NVENC/NVDEC intégrés et garantie constructeur NVIDIA de 3 ans. Elle exécute vLLM, SGLang, llama.cpp, Triton et TensorRT-LLM sans configuration supplémentaire.
Matériel
| Composant | Détail |
|---|---|
| GPU | 4x NVIDIA L40 48 GB ECC GDDR6 (Ada Lovelace, passive, 300 W, double slot, PCIe 4.0 x16) |
| Pool de VRAM | 192 GB ECC répartis sur 4 cartes (pas de NVLink sur la L40) |
| Processeur | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x lignes PCIe 4.0) |
| Carte mère | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Mémoire système | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Démarrage / stockage | NVMe M.2 2 TB (PCIe 4.0 x4) |
| Alimentation | Deux alimentations ATX 2 kW avec câble de synchronisation |
| Châssis | Rack 4U avec flux d'air dirigé de l'avant vers l'arrière |
| Refroidissement | Tour Arctic Freezer 4U-M SP3 + 3x 120 mm en aspiration frontale + 1x 120 mm en extraction arrière |
| Réseau | Double 10 GbE intégré (Intel X550) |
Enveloppe électrique
- Consommation GPU : 4 x 300 W = 1 200 W
- Total système en pleine charge : environ 1 525 W
- Total alimentations : 4 000 W (deux blocs de 2 kW synchronisés) — 61.9 % de marge
- Double alimentation pour répartir la distribution électrique et permettre le N+1
Topologie des lignes
PCIe Gen4 x16 par carte (la L40 est nativement Gen4). Connexion directe au root complex depuis un seul EPYC — sans switch PCIe. Pas de NVLink : le trafic inter-GPU passe en pair-à-pair PCIe. Trois slots x16 restent libres pour une carte réseau ou du stockage.
Ce que vous pouvez exécuter
Avec 192 GB de VRAM ECC répartis sur 4 cartes de centre de données, ce serveur prend en charge les MoE de pointe de plus de 200B en Q4, le service multi-locataire d'entreprise avec SLA strict et l'inférence en production 24/7 sans dérive liée aux inversions de bits que l'ECC corrige.
LLM — texte / raisonnement / code
Modèles de pointe chinois
- Qwen3 / Qwen3.5 (Alibaba) : Qwen3-235B-A22B Q4 (~132 GB) avec contexte long — la configuration phare (~12-18 tok/s en flux unique sur 4x L40) ; Qwen3-Coder-480B-A35B Q2 (~160 GB, juste) ; Qwen3.5-122B-A10B fp8 (~75 GB) avec KV très large ; Qwen3-32B dense bf16 en plusieurs flux simultanés
- DeepSeek : DeepSeek-V3/R1/V3.1/V3.2 Q2 (~215 GB avec léger débordement en RAM) ; DeepSeek-R2 32B — 4x flux simultanés, un par carte
- GLM / Z.ai : GLM-4.5 / 4.6 / 4.7 Q4 (~177 GB) — le point d'équilibre de cette gamme ; GLM-4.5-Air 106B/12B fp8 ou bf16
- Tencent Hunyuan : Hunyuan-Large Q3 (~160 GB) — MoE 389B avec contexte de 256k ; Hunyuan-A13B fp8 (~80 GB) avec KV très large
- Baidu ERNIE-4.5-424B Q3 (~180 GB) ; InternVL3.5-241B-A28B Q4 (~135 GB) ; Qwen3.5-397B Q3 (~170 GB)
Modèles de pointe occidentaux
- Meta Llama : Llama 3.3 70B bf16 avec KV massif (~15-18 tok/s en flux unique sur 4x L40) ; Llama 4 Scout bf16 (~218 GB) tout juste ; Llama 4 Maverick 400B/17B Q3 (~188 GB)
- Mistral : Mistral Large 2 / Pixtral Large / Devstral 2 123B Q6 (~102 GB) à l'aise ; Mistral Small 3 en multiflux
- OpenAI (poids ouverts) : gpt-oss-120b MXFP4 (80 GB) avec KV généreux
- NVIDIA Nemotron : Llama-3.1-Nemotron Ultra 253B Q4 (~147 GB) ; Super 49B bf16 en plusieurs flux
- Google Gemma 3 : 27B multimodal bf16 — plusieurs flux résidents
- Autres : Cohere Command R+ 104B Q6 (~85 GB) ; OLMo 3.1 32B ; Reka Flash 3 21B ; IBM Granite 4.0 H-Small
Modèles vision-langage
InternVL3.5-241B-A28B Q4 (~135 GB) ; Qwen3-VL-235B-A22B Q4 ; Qwen3-VL-32B bf16 ; Llama 3.2 90B Vision bf16 (~180 GB) ; Pixtral Large 124B Q6-bf16 ; Molmo 72B bf16 ; GLM-4.6V 106B fp8 ; Gemma 3 27B multimodal en plusieurs flux ; InternVL3 78B bf16 ; DeepSeek-VL2 sur toute la gamme.
Génération d'images
FLUX.1 [dev] / [schnell] bf16 avec génération simultanée (~3-4 s par image 1024x1024 sur L40) ; FLUX.1 Kontext [dev] ; FLUX Tools ; SD 3.5 Large bf16 en 2-3 instances simultanées ; HunyuanImage-2.1 bf16 (~34 GB) en multiflux ; HunyuanImage-3.0 base (MoE 80B, 13B actifs) bf16 (~80 GB) ; HunyuanDiT ; Kolors / Kolors 2.0 ; AuraFlow ; OmniGen v1 ; PixArt-Sigma.
Génération vidéo
Wan 2.2 T2V-A14B / I2V-A14B MoE bf16 bi-expert en contexte complet ; Wan 2.2 TI2V-5B en mode rapide ; HunyuanVideo 13B bf16 avec les deux experts ; HunyuanVideo 1.5 ; CogVideoX-5B bf16 ; Open-Sora 2.0 11B bf16 ; Mochi-1 bf16 (~42 GB) en multiflux ; LTX-Video ; Pyramid Flow ; SVD / SV3D / SV4D ; NVIDIA Cosmos Predict 2.
Audio / parole / synthèse vocale
- Reconnaissance vocale : Whisper v3 large / turbo (~50x le temps réel) ; Parakeet-TDT ; Canary 1B ; Qwen3-ASR ; SenseVoice
- Synthèse vocale : CosyVoice 2/3 ; Kokoro 82M ; XTTS v2 ; Stable Audio Open ; Step-Audio-EditX
- Temps réel / parole-à-parole : Kyutai Moshi 7B ; Step-Audio 2 mini/R1 ; Qwen2.5-Omni-7B
- Musique / effets sonores : MusicGen / AudioGen / Bark ; SeamlessM4T v2
Service multi-modèle / multi-locataire
- Passerelle LLM de production en entreprise — Qwen3-235B Q4 ou GLM-4.5/4.6 Q4 au service de 16 à 32 utilisateurs simultanés avec SLA strict
- Pile mixte résidente : MoE 235B + FLUX.1 + Whisper-turbo + Moshi avec VRAM partitionnée et protection ECC
- Chaîne vidéo en direct + IA — les encodeurs matériels NVENC/NVDEC alimentent 6 à 8 chaînes parallèles de sous-titrage et de modération
- RAG multi-locataire — embedder côté requête + lecteur 70B + reranker avec une latence P99 inférieure à la seconde
Charges de travail visées
- Inférence LLM en production 24/7 sur un pool de 192 GB (Qwen3-235B Q4, GLM-4.5/4.6/4.7 Q4, Llama 4 Scout bf16)
- Service multi-locataire d'entreprise avec SLA strict — fiabilité ECC sur de longues périodes
- Service RAG + base vectorielle avec modèles de recherche haute qualité en parallèle
- Chaînes média / vidéo IA — voie matérielle NVENC / NVDEC, rendu VFX, transcription et traduction
- Déploiements en centre de données à fonctionnement silencieux — cartes passives, faible signature sonore à proximité des bureaux
Performances mesurées
Références publiées | fiche technique NVIDIA L40 + tests de la communauté
| Test | Résultat |
|---|---|
| TOPS INT8 par carte (fiche technique NVIDIA) | 362 TOPS |
| TOPS INT8 cumulés (4 cartes) | 1 448 TOPS |
| VRAM par carte | 48 GB ECC GDDR6, 864 GB/s de bande passante |
| Llama 3.3 70B Q6 via vLLM (communauté) | 30-50 tok/s en flux unique, plus de 150 tok/s en lot de 16 |
| FLUX.1 [dev] bf16 sur L40 (communauté) | ~3-4 s par image 1024x1024 |
| NVENC / NVDEC | Encodeurs matériels de 8e génération intégrés (chaîne vidéo IA) |
Références externes publiées, non mesurées sur du matériel Kentino. Kentino publiera ses propres chiffres après la première configuration livrée à un client.
Moins adapté à
- L'entraînement de grands modèles depuis zéro (pas de NVLink, calcul tensoriel FP8 limité)
- L'inférence économique mono-utilisateur (4x L4 ou 2x L40 revient nettement moins cher)
- Un modèle dense bf16 70B en contexte très long — préférez 2x RTX Pro 6000 Server Edition (même pool de 192 GB, moins de surcoût de parallélisme tensoriel)
Garantie et délai de livraison
Garantie constructeur NVIDIA de 3 ans sur les L40 + garantie d'intégration Kentino. La configuration comprend l'assemblage, le paramétrage du BIOS, l'installation des pilotes, les tests de rodage et la vérification fonctionnelle. Le délai dépend de la disponibilité des composants et est confirmé à la commande.
Options recommandées
- Passer la mémoire à 512 GB (ajout de 4x 64 GB DDR4 — quatre emplacements DIMM restent libres)
- NVMe de 4 TB pour héberger la bibliothèque de modèles
- Baie rack 24U complète avec PDU managée + onduleur online 5 kVA
Les questions que les acheteurs nous posent le plus fréquemment avant de commander un serveur.
Combien de temps cela prend-il ?
Les machines assemblées à partir de composants que nous avons en stock partent vite ; tout ce qui exige une génération de GPU précise dépend de l'approvisionnement. Nous vous donnons une date avant le paiement et, si elle bouge, nous vous prévenons plutôt que de vous laisser le découvrir.
La configuration peut-elle être modifiée avant l'assemblage ?
Presque toujours. Les GPU, la mémoire, le stockage et le refroidissement sont choisis commande par commande, et la configuration affichée est un point de départ plutôt qu'un ensemble figé. Si vous avez besoin de plus de VRAM, d'un stockage plus rapide ou d'une autre approche de refroidissement, dites-le nous avant de commander et nous chiffrerons la modification.
Puis-je venir récupérer le serveur sur place ?
Bien sûr. Notre entrepôt est à Prague et le retrait sur place est le bienvenu — la plupart de ceux qui viennent en profitent pour passer la machine en revue avec notre ingénieur et poser les questions qui passent mal par e-mail. Pour les commandes en République tchèque, nous essayons aussi de livrer en personne et de vous accompagner dans l'installation sur site.
Puis-je parler à quelqu'un qui comprend vraiment la charge de travail ?
Oui. Nous avons un ingénieur dédié aux systèmes d'IA, et non un simple service commercial. Si votre question porte sur les tailles de batch, la quantification, l'interconnexion ou l'endroit où se situera votre goulot d'étranglement, posez-la — cette conversation améliore généralement la configuration.
Quel modèle puis-je faire tourner sur cette configuration ?
Oui. Chaque machine est assemblée, soumise à un test de rodage et évaluée sur de véritables charges de travail IA avant son expédition, et elle quitte nos ateliers avec un LLM déjà installé et opérationnel. Vous la branchez, vous la connectez à votre réseau et vous commencez à travailler — la seule décision qui vous reste est de choisir le premier projet qu'elle fera tourner.
Comment testez-vous un serveur avant son expédition ?
Nous les éprouvons sur de véritables charges de travail IA plutôt que sur des scores synthétiques : débit d'inférence, tenue en charge soutenue et comportement thermique en fonctionnement continu. Vous recevez les résultats des tests avec la machine : les performances promises sont donc celles que vous pouvez vérifier dès le premier jour.
Le serveur est-il prêt à fonctionner à son arrivée ?
Oui. Chaque machine est assemblée, soumise à un test de rodage et évaluée sur de véritables charges de travail IA avant son expédition, et elle quitte nos ateliers avec un LLM déjà installé et opérationnel. Vous la branchez, vous la connectez à votre réseau et vous commencez à travailler — la seule décision qui vous reste est de choisir le premier projet qu'elle fera tourner.
Expédition depuis notre entrepôt dans l’UE. Les articles lourds peuvent nécessiter un transport en fret — contactez-nous pour un devis d’expédition et un délai de livraison. Garantie limitée de 2 ans avec support RMA avancé ; extension de garantie disponible.
Pas tout à fait ce qu'il vous faut ?
Dites-nous votre charge de travail et nous configurons cette plateforme autour d'elle — GPU, mémoire, stockage et refroidissement adaptés à ce que vous exécutez vraiment.