Kentino AI 96 Rome L40 724TOPS — serveur d’inférence de production 2x NVIDIA L40 ECC
Plateforme de qualité professionnelle, assemblée et testée dans l'UE.
Kentino AI 96 Rome L40 724TOPS
Serveur de production 2x L40 ECC
96 GB VRAM ECC | EPYC Milan | 724 TOPS INT8
Machine ECC d'entrée de gamme professionnelle pour un fonctionnement 24/7 — 2x L40 passives, pool de 96 GB de VRAM ECC, alternative de qualité centre de données au palier 4090 pour les déploiements réglementés.
Serveur d'inférence de classe production à deux GPU, bâti sur une ROMED8-2T / EPYC Milan avec deux cartes NVIDIA L40 passives. Pool de 96 GB de GDDR6 ECC, soit la même enveloppe VRAM que la configuration de référence à 4x RTX 4090, mais avec une certification centre de données complète, de la mémoire ECC sur chaque carte et une conception thermique prévue pour un cycle de service 24/7. Le bon choix lorsque la RTX 4090 poserait des questions de garantie, de fiabilité ou de conformité — finance, santé, vérification formelle et tout service LLM / VLM en production continue.
Matériel
| Composant | Détail |
|---|---|
| GPU | 2x NVIDIA L40 48 GB GDDR6 ECC (Ada Lovelace, passives, 300 W, double slot, PCIe 4.0 x16) |
| Pool VRAM | 96 GB ECC (sans NVLink) |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128 lignes PCIe 4.0) |
| Carte mère | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| RAM système | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Démarrage / stockage | 1 TB NVMe M.2 (PCIe 4.0 x4) |
| Alimentation | Alimentation ATX unique de 2 kW |
| Châssis | Montage en rack 4U, risers passifs Gen4 x16 |
| Refroidissement | Ventirad tour SP3 (Arctic Freezer 4U-M), 3x 120 mm en entrée avant + 1x 120 mm en extraction arrière |
| Réseau | Double 10 GbE intégré (Intel X550) + IPMI |
Enveloppe de puissance
- Consommation GPU : 2 x 300 W = 600 W
- Total système en pleine charge : ~925 W
- Total alimentation : 2 000 W — 53.8 % de marge
- Marge confortable sur une seule alimentation, fonctionnement silencieux
Topologie des lignes PCIe
PCIe Gen4 x16 sur les deux GPU (la L40 est nativement Gen4 x16). 16 lignes directes depuis le root complex du CPU — sans commutateur PCIe. Pas de NVLink sur la L40 — les communications inter-GPU passent par PCIe P2P. 864 GB/s de bande passante mémoire par carte.
Ce que vous pouvez exécuter
Avec 96 GB de VRAM ECC répartis sur 2 cartes L40 passives, ce serveur prend en charge le service LLM 24/7 en entreprise, les déploiements réglementés, la génération d'images et de vidéos, et l'inférence multi-locataire là où la fiabilité ECC et la garantie centre de données comptent.
LLM — texte / raisonnement / code
Modèles chinois de pointe
- Qwen3-32B bf16 mono-GPU sur une L40 avec de la marge en contexte 32k (~18-22 tok/s en flux unique sur L40, référence publiée)
- Qwen3.5-27B bf16 ; Qwen3-30B-A3B / Qwen3-Coder-30B-A3B bf16 (~60 GB) contexte 256k
- Qwen3.5-122B-A10B Q4 (~70 GB) — fleuron MoE, contexte long
- QwQ-32B bf16 ; Hunyuan-A13B Q6 (~48 GB)
- DeepSeek-R2 32B MoE clairsemé bf16 — exécutable sur un seul GPU, deux flux parallèles
- GLM-4.5-Air 106B/12B Q4-Q5 (60-70 GB confortables)
- Seed-OSS-36B bf16 — contexte natif 512k ; ERNIE-4.5-47B-A3B Q6-Q8
- Baichuan-M2-32B bf16 (raisonnement médical — l'ECC est un atout ici)
Modèles occidentaux de pointe
- Llama 3.3 70B Q6 (~58 GB) avec de la marge pour le KV ; Q4_K_M (~43 GB) contexte très long (~15-18 tok/s en flux unique sur 2x L40, référence publiée)
- Hermes 3 70B / Tulu 3 70B Q4-Q6 ; Llama 4 Scout 109B/17B MoE Q4 (~63 GB)
- Mistral Small 3 / Magistral Small 1.2 / Devstral Small 2 (24B) bf16 ; Mixtral 8x22B Q3-Q4
- gpt-oss-120b MXFP4 (~80 GB) avec de la place pour le KV
- Gemma 3 27B multimodal bf16 avec contexte 128k
- Phi-4 14B / Phi-4-reasoning / Phi-4-multimodal bf16
- Nemotron-Super 49B Q6-Q8 ; IBM Granite 4.0 H-Small 32B/9B — conformité en entreprise
- Reka Flash 3 21B bf16 ; OLMo 2 32B / OLMo 3.1-32B-Think bf16
Modèles vision-langage
Qwen3-VL-8B / 32B, Qwen3-VL-30B-A3B MoE, Qwen3-Omni-30B-A3B ; InternVL3 jusqu'à 78B Q4 (~48 GB) ; InternVL3.5-38B bf16 ; DeepSeek-VL2 ; ERNIE-4.5-VL-28B-A3B-Thinking ; Llama 3.2 11B Vision bf16 ; Pixtral 12B bf16 ; Gemma 3 12B / 27B multimodal ; PaliGemma 2 (3/10/28B) ; MiniCPM-V 2.6 / MiniCPM-o 2.6 ; GLM-4.6V-Flash ; Molmo 72B Q4 ; Aya Vision 32B.
Génération d'images
La L40 dispose de cœurs tensoriels Ada et de 864 GB/s de bande passante mémoire par carte — solide pour les pipelines d'images en production : FLUX.1 [dev] / [schnell] fp16 (~24 GB) ou fp8 (~12 GB) (~15-25 secondes par image 1024x1024 en fp8, référence publiée) ; FLUX.1 Kontext [dev] ; FLUX Tools (Fill / Depth / Canny / Redux) ; SD 3.5 Large (18 GB fp16 / 11 GB fp8) ; SDXL 1.0 + ControlNet + AnimateDiff ; HunyuanImage-2.1 bf16 (~34 GB) ; Kolors 2.0 ; AuraFlow v0.3 ; OmniGen v1 ; PixArt-Sigma.
Génération de vidéos
HunyuanVideo 13B bf16 tient sur une seule L40 pour un clip court en 720p ; Wan 2.2 T2V-A14B / I2V-A14B bf16 (~54 GB) en parallélisme tensoriel sur 2 cartes ; Wan 2.2 TI2V-5B bf16 par carte ; Wan 2.1 14B fp8 / bf16 ; HunyuanVideo 1.5 (8.3B) bf16 ; Open-Sora 2.0 (11B) bf16 ; CogVideoX-5B / 1.5 bf16 ; Mochi-1 bf16 (~42 GB) ; LTX-Video 2B ; SVD / SV3D / SV4D ; NVIDIA Cosmos Predict 2.
Audio / parole / TTS
- ASR : Whisper v3 large / turbo (~50x le temps réel sur un seul GPU, référence publiée) ; Parakeet-TDT 1.1B ; Canary 1B ; Qwen3-ASR ; SenseVoice
- TTS : CosyVoice 2 / Fun-CosyVoice 3.0 ; Kokoro 82M ; Stable Audio Open ; Coqui XTTS v2 ; StyleTTS 2 ; Step-Audio-EditX
- Temps réel / S2S : Kyutai Moshi (200 ms de latence, full-duplex) ; Step-Audio 2 mini / R1 / R1.1 ; Qwen2.5-Omni-7B
- Musique / bruitage / traduction : MusicGen ; AudioGen ; Suno Bark ; SeamlessM4T v2 ; MMS
Service multi-modèles / multi-locataire
- 4 à 8 utilisateurs simultanés sur des LLM de classe 32-70B via vLLM en parallélisme tensoriel ou par partition de carte
- Pile mixte : Qwen3-32B + FLUX.1 + Whisper-turbo + Moshi résidents avec VRAM partitionnée
- Inférence LoRA + fine-tuning léger de 7-14B ; entraînement complet possible sur des modèles plus petits
- Pipelines RAG avec Command R / Qwen3 + embeddings BGE-M3 / E5 / Jina
Charges de travail visées
- Service LLM 24/7 en entreprise — 70B Q4-Q6, Qwen3-32B bf16, Mistral Small 3 bf16
- Déploiement réglementé exigeant de la mémoire ECC (finance, santé, vérification formelle)
- Service en contexte long — Seed-OSS-36B et ses 512k de contexte tiennent confortablement dans le pool de 96 GB
- Service MoE de milieu de gamme — Hunyuan-A13B Q6, GLM-4.5-Air Q4, Qwen3-30B-A3B bf16
- Traitement documentaire VLM — InternVL3.5-38B, Pixtral 12B bf16, Qwen3-VL-32B
Références de performance publiées
Référence publiée | matériel comparable à 2x NVIDIA L40
| Benchmark | Résultat |
|---|---|
| Llama 3.3 70B Q4_K_M réparti sur 2x L40 (tensor-split) | ~15-18 tok/s en flux unique |
| Qwen3-32B bf16 mono-GPU sur une L40 | ~18-22 tok/s en flux unique |
| vLLM Hunyuan-A13B Q6 sur le pool de 2x L40 | ~28-34 tok/s en flux unique |
| HunyuanVideo 13B bf16 sur une L40 | Clip court 720p — tient dans 48 GB |
| Mesures par carte | 362 TOPS INT8, 864 GB/s, 300 W de TDP |
Données publiées, non mesurées sur du matériel Kentino.
Moins adapté à
- L'optimisation du coût par TFLOPS — 4x RTX 4090 délivrent 2 644 TOPS cumulés pour ~40 % du coût des composants (sans ECC ni garantie centre de données)
- Les modèles denses de plus de 200B — le plafond du pool de 96 GB s'applique (il faut un SKU de 192+ GB)
- La génération vidéo en bf16, format long et pleine résolution (le MoE à deux experts de Wan 2.2 demande plus de VRAM)
- L'entraînement de zéro — la L40 est certifiée pour l'inférence ; utilisez une RTX Pro 6000 / Blackwell station de travail pour l'entraînement
Garantie et délai de livraison
Garantie centre de données OEM NVIDIA de 3 ans sur la L40 + garantie d'intégration Kentino (2 ans pièces, 1 an main-d'œuvre). L'assemblage comprend le montage, la configuration du BIOS, l'installation des pilotes, les tests de rodage et la vérification fonctionnelle.
Options recommandées
- Passer à 4x L40 (Kentino AI 192 Rome L40 1448TOPS) pour un pool ECC de 192 GB et un service de tout premier plan
- Porter la RAM à 512 GB (ajouter 4x 64 GB DDR4) pour des piles d'embeddings / rerankers plus volumineuses
- Porter le NVMe à 4 TB pour la bibliothèque de modèles + la préparation des jeux de données
- Alimentation redondante en option (double 2 kW synchronisée) sur demande
- PDU rack + onduleur online 3 kVA pour une colocation de production
Les questions que les acheteurs nous posent le plus fréquemment avant de commander un serveur.
Combien de temps cela prend-il ?
Les machines assemblées à partir de composants que nous avons en stock partent vite ; tout ce qui exige une génération de GPU précise dépend de l'approvisionnement. Nous vous donnons une date avant le paiement et, si elle bouge, nous vous prévenons plutôt que de vous laisser le découvrir.
La configuration peut-elle être modifiée avant l'assemblage ?
Presque toujours. Les GPU, la mémoire, le stockage et le refroidissement sont choisis commande par commande, et la configuration affichée est un point de départ plutôt qu'un ensemble figé. Si vous avez besoin de plus de VRAM, d'un stockage plus rapide ou d'une autre approche de refroidissement, dites-le nous avant de commander et nous chiffrerons la modification.
Puis-je venir récupérer le serveur sur place ?
Bien sûr. Notre entrepôt est à Prague et le retrait sur place est le bienvenu — la plupart de ceux qui viennent en profitent pour passer la machine en revue avec notre ingénieur et poser les questions qui passent mal par e-mail. Pour les commandes en République tchèque, nous essayons aussi de livrer en personne et de vous accompagner dans l'installation sur site.
Puis-je parler à quelqu'un qui comprend vraiment la charge de travail ?
Oui. Nous avons un ingénieur dédié aux systèmes d'IA, et non un simple service commercial. Si votre question porte sur les tailles de batch, la quantification, l'interconnexion ou l'endroit où se situera votre goulot d'étranglement, posez-la — cette conversation améliore généralement la configuration.
Quel modèle puis-je faire tourner sur cette configuration ?
Oui. Chaque machine est assemblée, soumise à un test de rodage et évaluée sur de véritables charges de travail IA avant son expédition, et elle quitte nos ateliers avec un LLM déjà installé et opérationnel. Vous la branchez, vous la connectez à votre réseau et vous commencez à travailler — la seule décision qui vous reste est de choisir le premier projet qu'elle fera tourner.
Comment testez-vous un serveur avant son expédition ?
Nous les éprouvons sur de véritables charges de travail IA plutôt que sur des scores synthétiques : débit d'inférence, tenue en charge soutenue et comportement thermique en fonctionnement continu. Vous recevez les résultats des tests avec la machine : les performances promises sont donc celles que vous pouvez vérifier dès le premier jour.
Le serveur est-il prêt à fonctionner à son arrivée ?
Oui. Chaque machine est assemblée, soumise à un test de rodage et évaluée sur de véritables charges de travail IA avant son expédition, et elle quitte nos ateliers avec un LLM déjà installé et opérationnel. Vous la branchez, vous la connectez à votre réseau et vous commencez à travailler — la seule décision qui vous reste est de choisir le premier projet qu'elle fera tourner.
Expédition depuis notre entrepôt dans l’UE. Les articles lourds peuvent nécessiter un transport en fret — contactez-nous pour un devis d’expédition et un délai de livraison. Garantie limitée de 2 ans avec support RMA avancé ; extension de garantie disponible.
Pas tout à fait ce qu'il vous faut ?
Dites-nous votre charge de travail et nous configurons cette plateforme autour d'elle — GPU, mémoire, stockage et refroidissement adaptés à ce que vous exécutez vraiment.