Kentino AI 288 Rome L40 — 6× NVIDIA L40 Passive Enterprise (288 GB de VRAM ECC)
Plateforme de qualité professionnelle, assemblée et testée dans l'UE.
Kentino AI 288 Rome L40 2172TOPS
Serveur d'entreprise 288 GB de VRAM ECC
6x NVIDIA L40 passives | EPYC Milan | 2 172 TOPS INT8
Références externes publiées. Non mesurées sur du matériel Kentino.
Un serveur d'inférence d'entreprise 4U montable en rack, doté de six cartes datacenter passives NVIDIA L40 Ada Lovelace (48 GB ECC chacune) mutualisées en un pool de 288 GB de VRAM ECC, d'un processeur AMD EPYC 7643 Milan (48C/96T), de 384 GB de DDR4-2666 ECC, d'un disque de démarrage NVMe de 2 TB et de deux alimentations ATX de 2.5 kW synchronisées. ECC de bout en bout, pensé pour la production d'entreprise 24/7 où l'intégrité au bit près et des domaines de panne maintenables sont décisifs.
Matériel
| Composant | Détail |
|---|---|
| GPU | 6x NVIDIA L40 48 GB ECC (Ada Lovelace, datacenter passive, 300 W, PCIe 4.0 x16, double slot, 362 TOPS INT8 par carte) |
| Pool de VRAM | 288 GB ECC cumulés sur 6 cartes (pas de NVLink sur la référence L40 PCIe) |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128 lignes PCIe 4.0) |
| Carte mère | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| RAM système | 384 GB DDR4-2666 ECC RDIMM (6x 64 GB — 2 emplacements DIMM libres pour une extension à 512 GB) |
| Démarrage / stockage | NVMe M.2 de 2 TB (PCIe 4.0 x4) |
| Alimentation | 2x ATX de 2.5 kW avec câble de synchronisation double alimentation (5 kW cumulés) |
| Châssis | 4U montable en rack (agencement 6 slots) |
| Refroidissement | Ventirad tour SP3 (classe Arctic Freezer 4U-M) + flux d'air dirigé de l'avant vers l'arrière (ventilateurs industriels) |
| Réseau | Double 10 GbE intégré (Intel X550) |
Enveloppe de puissance
- Consommation GPU : 6 x 300 W = 1 800 W
- Total système en pleine charge : ~2 175 W
- Total alimentations : 5 000 W (deux blocs de 2.5 kW synchronisés) — 56.5 % de marge
- Double alimentation pour répartir la distribution — la panne d'un bloc entraîne la perte de 2 GPU, ou de 2 GPU + la carte mère
Topologie des lignes
La ROMED8-2T expose 7x PCIe 4.0 x16 directement depuis l'EPYC Milan. Six emplacements sont occupés par des risers passifs Gen4 x16 — un emplacement reste libre pour une carte réseau ou du stockage. Aucun switch PCIe n'est nécessaire. Le lien natif de la L40 est du PCIe 4.0 x16 : aucune perte de bande passante. Pas de NVLink ; le trafic inter-GPU passe en PCIe peer-to-peer.
Ce que vous pouvez exécuter
Avec 288 GB de VRAM ECC mutualisés sur 6 cartes L40 passives, ce serveur prend en charge les LLM open-weight de pointe en Q4, le service simultané de plusieurs modèles, les chaînes vidéo et média, ainsi que l'inférence de production d'entreprise 24/7. À noter : la L40 est une Ada Lovelace, pas une Blackwell — le fp8 est converti en bf16. Utilisez GGUF Q4/Q5 ou AWQ/GPTQ int4 pour une efficacité VRAM maximale.
LLM — texte / raisonnement / code
Modèles chinois de pointe
- Qwen3-235B-A22B Q4 (~132 GB) avec un contexte très long et un budget KV généreux (~15-20 tok/s en session unique, référence publiée)
- GLM-4.5 / 4.6 / 4.7 Q4 (~177 GB) confortable en TP sur 6 cartes (~12-18 tok/s en session unique, référence publiée)
- Hunyuan-Large 389B/52B Q3 (~160 GB) ; ERNIE-4.5-424B-A47B Q3 (~180 GB)
- Qwen3-Coder-480B-A35B Q2 (~160 GB), agent de code phare
- MiniMax-M1 / Text-01 Q3 (~180 GB), Lightning Attention à 1M de contexte
- Qwen3-30B-A3B / QwQ-32B / Qwen3-32B — une seule carte avec 6 flux parallèles
- DeepSeek-R2 32B MoE sparse — une carte par flux, 6 sessions simultanées
Modèles occidentaux de pointe
- Llama 3.3 70B bf16 (~142 GB) en service multi-locataire (~17 tok/s en session unique, référence publiée), ou Q4 (~43 GB) avec 6 copies simultanées
- Llama 4 Scout 109B/17B bf16 (~218 GB, tout juste) ou Q4 (~63 GB) confortable
- Mistral Small 3 / Magistral / Devstral Small (24B) bf16 (~40-50 tok/s en session unique, référence publiée)
- Pixtral Large / Mistral Large 2 Q6-Q8 (~90-140 GB)
- Llama-3.1-Nemotron Ultra 253B Q4 (~119 GB)
- gpt-oss-120b MXFP4 (~80 GB via GGUF sur Ada — attention à la conversion Ada évoquée plus haut)
- Cohere Command R+ 104B Q4, pile RAG
Modèles vision-langage
Qwen3-VL-235B-A22B Q4 ; Qwen3-VL-32B ; InternVL3.5-78B / 241B-A28B Q4 (~135 GB) ; Llama 3.2 90B Vision bf16 (~180 GB) ; Pixtral 12B ; Molmo 72B ; Gemma 3 12B/27B multimodal ; GLM-4.6V complet (106B bf16) ; MiniCPM-o 2.6. Les moteurs NVENC/NVDEC de la L40 sont particulièrement utiles pour les chaînes documentaires ou vidéo VLM à haut débit.
Génération d'images
FLUX.1 [dev] / Kontext / Tools sur plusieurs workers simultanés (~3.5 s par image 1024x1024 sur une seule L40 en fp8, référence publiée) — une ferme de 6 workers ComfyUI est envisageable ; SD 3.5 Large ; HunyuanImage-2.1 (17B) bf16 ; HunyuanDiT ; Kolors 2.0 ; AuraFlow ; OmniGen.
Génération vidéo
Wan 2.2 T2V-A14B / I2V-A14B bi-expert bf16 (~54 GB, ~20-30 s par clip de 4 s en 720p, référence publiée) ; HunyuanVideo 13B bf16, les deux experts ; Open-Sora 2.0 bf16 ; CogVideoX-5B ; Mochi-1 ; LTX-Video ; Pyramid Flow ; NVIDIA Cosmos Predict 2. Les moteurs matériels NVENC/NVDEC de la L40 assurent le sous-titrage, la modération et le transcodage à grande échelle en parallèle de la génération.
Audio / parole / synthèse vocale
- ASR : Whisper v3 large / turbo ; Parakeet-TDT 1.1B ; Canary 1B ; Qwen3-ASR ; SenseVoice
- TTS : CosyVoice 2/3 ; Kokoro 82M ; Stable Audio Open ; XTTS v2 ; Step-Audio-EditX
- Temps réel / S2S : Kyutai Moshi ; Step-Audio 2 mini / R1 ; Qwen2.5-Omni-7B
Service multi-modèles / multi-locataires
- Plusieurs modèles résidents simultanément — Qwen3-235B Q4 + FLUX.1 + HunyuanVideo + Whisper-turbo + Moshi + un modèle d'embeddings, tous chargés en même temps
- 6 charges de travail de classe 48 GB en parallèle (une par carte) : 6x Qwen3-VL-32B, ou 6x workers FLUX.1, ou 6x flux ASR
- Parallélisme tensoriel sur 6 cartes pour un MoE de plus de 200B en Q4 avec un contexte réel
- Chaînes RAG — Command R+ / Qwen3 + reranker + modèle d'embeddings + analyse d'images sur le même hôte
Charges de travail visées
- Backend d'inférence LLM en production 24/7 — plus de 100 utilisateurs simultanés sur un MoE de plus de 200B en Q4, protégé par ECC
- Chaîne média-IA à l'échelle de l'entreprise — sous-titrage + modération + vignettes + transcodage sur 6 flux parallèles via NVENC/NVDEC
- SaaS multi-locataire où l'isolation de chaque locataire sur une carte physique distincte compte
- Backend RAG avec lecteur Command R+ + reranker + modèle d'embeddings + vision entièrement résidents
- Paire axée fiabilité en remplacement du Legacy 12x L40 — deux serveurs Kentino AI 288 = 576 GB cumulés avec des domaines de panne indépendants
Références de performance publiées
Références externes | Non mesurées sur du matériel Kentino
| Benchmark | Résultat |
|---|---|
| TOPS INT8 par carte L40 | 362 TOPS |
| Bande passante mémoire L40 | 864 GB/s par carte |
| vLLM — Llama 3.3 70B AWQ INT4 en TP sur 2x L40 (session unique) | ~25-35 tok/s |
| vLLM — Llama 3.3 70B AWQ INT4 en TP sur 2x L40 (batch de 16) | ~150-200 tok/s cumulés |
| llama.cpp — GLM-4.6 Q4 sur 6x L40 (session unique) | ~12-18 tok/s |
| FLUX.1 [dev] sur une seule L40 en fp8 | ~3.5 s par image 1024x1024 |
Kentino publiera ses propres mesures après la première configuration client.
Moins adapté à
- L'inférence fp8 native à pleine vitesse — Ada convertit en bf16 ; utilisez plutôt GGUF Q4/Q5 ou AWQ/GPTQ int4. Pour du fp8 natif, voyez le Kentino AI 384 Rome RTXPro6000 (Blackwell)
- L'entraînement de grands modèles depuis zéro (pas de NVLink)
- L'inférence mono-utilisateur à petit budget — 4x L4 ou 4x 5080 reviennent nettement moins cher pour de petites charges de travail
- Les modèles denses de pointe de 600B+ en Q4 et au-delà (il faut un pool de 576 GB ou plus — voyez le 6x RTX Pro 6000)
Garantie et délai de livraison
La prestation comprend l'assemblage, la configuration du BIOS, l'installation des pilotes, le rodage, le memtest et la vérification fonctionnelle. Le délai dépend de la disponibilité des composants et est confirmé à la commande.
Options recommandées
- Extension de la RAM à 512 GB DDR4 (ajout de 2x 64 GB — 2 emplacements DIMM libres) pour un budget KV plus large
- NVMe Gen4 x4 de 4 TB pour héberger votre bibliothèque de modèles
- Baie rack 24U complète avec PDU managée et onduleur online (essentiel pour des charges ECC 24/7)
- Une seconde unité Kentino AI 288 en complément — elle remplace l'enveloppe du Legacy 12x L40 par deux domaines de panne indépendants
Les questions que les acheteurs nous posent le plus fréquemment avant de commander un serveur.
Combien de temps cela prend-il ?
Les machines assemblées à partir de composants que nous avons en stock partent vite ; tout ce qui exige une génération de GPU précise dépend de l'approvisionnement. Nous vous donnons une date avant le paiement et, si elle bouge, nous vous prévenons plutôt que de vous laisser le découvrir.
La configuration peut-elle être modifiée avant l'assemblage ?
Presque toujours. Les GPU, la mémoire, le stockage et le refroidissement sont choisis commande par commande, et la configuration affichée est un point de départ plutôt qu'un ensemble figé. Si vous avez besoin de plus de VRAM, d'un stockage plus rapide ou d'une autre approche de refroidissement, dites-le nous avant de commander et nous chiffrerons la modification.
Puis-je venir récupérer le serveur sur place ?
Bien sûr. Notre entrepôt est à Prague et le retrait sur place est le bienvenu — la plupart de ceux qui viennent en profitent pour passer la machine en revue avec notre ingénieur et poser les questions qui passent mal par e-mail. Pour les commandes en République tchèque, nous essayons aussi de livrer en personne et de vous accompagner dans l'installation sur site.
Puis-je parler à quelqu'un qui comprend vraiment la charge de travail ?
Oui. Nous avons un ingénieur dédié aux systèmes d'IA, et non un simple service commercial. Si votre question porte sur les tailles de batch, la quantification, l'interconnexion ou l'endroit où se situera votre goulot d'étranglement, posez-la — cette conversation améliore généralement la configuration.
Quel modèle puis-je faire tourner sur cette configuration ?
Oui. Chaque machine est assemblée, soumise à un test de rodage et évaluée sur de véritables charges de travail IA avant son expédition, et elle quitte nos ateliers avec un LLM déjà installé et opérationnel. Vous la branchez, vous la connectez à votre réseau et vous commencez à travailler — la seule décision qui vous reste est de choisir le premier projet qu'elle fera tourner.
Comment testez-vous un serveur avant son expédition ?
Nous les éprouvons sur de véritables charges de travail IA plutôt que sur des scores synthétiques : débit d'inférence, tenue en charge soutenue et comportement thermique en fonctionnement continu. Vous recevez les résultats des tests avec la machine : les performances promises sont donc celles que vous pouvez vérifier dès le premier jour.
Le serveur est-il prêt à fonctionner à son arrivée ?
Oui. Chaque machine est assemblée, soumise à un test de rodage et évaluée sur de véritables charges de travail IA avant son expédition, et elle quitte nos ateliers avec un LLM déjà installé et opérationnel. Vous la branchez, vous la connectez à votre réseau et vous commencez à travailler — la seule décision qui vous reste est de choisir le premier projet qu'elle fera tourner.
Expédition depuis notre entrepôt dans l’UE. Les articles lourds peuvent nécessiter un transport en fret — contactez-nous pour un devis d’expédition et un délai de livraison. Garantie limitée de 2 ans avec support RMA avancé ; extension de garantie disponible.
Pas tout à fait ce qu'il vous faut ?
Dites-nous votre charge de travail et nous configurons cette plateforme autour d'elle — GPU, mémoire, stockage et refroidissement adaptés à ce que vous exécutez vraiment.