Kentino AI 144 Rome L4 1452TOPS — 6× NVIDIA L4 — EPYC Milan
Plateforme de qualité professionnelle, assemblée et testée dans l'UE.
Kentino AI 144 Rome L4 1452TOPS
Serveur d'inférence silencieux 144 GB VRAM
6x NVIDIA L4 passives | EPYC Milan | 1 452 TOPS INT8
Six cartes datacenter L4 passives. Le serveur IA le plus silencieux de la gamme Kentino — acceptable pour un déploiement en périphérie de bureau.
Serveur d'inférence 4U mono-socket avec six cartes NVIDIA L4 passives (24 GB chacune, pool de 144 GB), un CPU AMD EPYC 7643 Milan (48C/96T), 384 GB de DDR4 ECC, 2 TB de NVMe de démarrage et une seule alimentation ATX de 2 kW avec 62 % de marge. Cheval de bataille de l'inférence dense en périphérie : flottes d'embeddings, service multi-locataire de LLM petits et moyens, et déploiements optimisés en watts par requête à proximité des bureaux.
Matériel
| Composant | Détail |
|---|---|
| GPU | 6x NVIDIA L4 24 GB (Ada Lovelace, passives, 72 W, simple slot LP, PCIe Gen4 x8) |
| Pool VRAM | 144 GB au total sur 6 cartes |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128 lignes PCIe 4.0) |
| Carte mère | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| RAM système | 384 GB DDR4-2666 ECC RDIMM (6x 64 GB) |
| Démarrage / stockage | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Alimentation | 1x alimentation ATX 2 kW |
| Châssis | Rack 4U (agencement 6 cartes) |
| Refroidissement | Ventirad tour SP3 + flux d'air dirigé avant-arrière (ventilateurs industriels) |
| Réseau | Double 10 GbE intégré (Intel X550) |
Enveloppe de puissance
- Consommation GPU : 6 x 72 W = 432 W
- Total système en pleine charge : ~757 W
- Total alimentation : 2 000 W — 62 % de marge
- Fonctionnement silencieux, marge thermique considérable
Topologie des lignes PCIe
La L4 est nativement PCIe Gen4 x8 — aucune perte de bande passante face à l'hôte. La ROMED8-2T offre 7x ports x16 ; un port reste libre pour une carte réseau en option. Aucun switch PCIe requis. Pas de NVLink.
Ce que vous pouvez faire tourner
Avec 144 GB au total sur 6 cartes physiques, le point fort est le service simultané de plusieurs modèles : faites tourner en parallèle un 70B dense en Q4, un MoE 30B, un modèle de code 14B, un VLM et un modèle d'embeddings, tout en gardant de la marge pour le cache KV.
LLM — texte / raisonnement / code
Frontière chinoise
- Qwen3 / Qwen3.5 (Alibaba) : Qwen3-30B-A3B Q4-Q6 ; QwQ-32B Q6 ; Qwen3-32B dense Q6 ; Qwen3.5-122B-A10B Q4-Q5 (~75 GB confortable) ; Qwen3-235B-A22B Q3 (~112 GB) serré, contexte court
- DeepSeek : DeepSeek-R2 32B MoE creux Q4-Q6 (tient sur une seule carte, 6x flux simultanés, ~15-20 tok/s par flux) ; Seed-OSS-36B Q4-Q6 avec contexte natif de 512k
- GLM / Z.ai : GLM-4.5-Air Q4-Q5 (60-70 GB confortable) ; Hunyuan-A13B Q4-Q6 (~48 GB)
- Baidu ERNIE-4.5-47B-A3B Q4 ; Step-3.5-Flash Q3-Q4 avec un peu de débordement en RAM
Frontière occidentale
- Meta Llama : Llama 3.3 70B Q4-Q6 (43-58 GB) avec un KV généreux (~10-17 tok/s en flux unique réparti sur 6x L4 en tensor-parallel) ; Llama 4 Scout 109B/17B MoE Q4 (~63 GB) confortable
- Mistral : Mistral Small 3 / Magistral Small 1.2 / Devstral Small 2 (24B) en bf16 (~50-65 tok/s par carte L4) ; Mixtral 8x22B Q4
- OpenAI (poids ouverts) : gpt-oss-120b MXFP4 natif (~80 GB) avec de la marge ; gpt-oss-20b MXFP4
- Google Gemma 3 : 27B bf16 ; Phi-4 14B bf16
- NVIDIA Nemotron : Llama-3.1-Nemotron Super 49B Q4-Q6 ; Pixtral 12B / Pixtral Large Q4 (~72 GB)
Modèles vision-langage
Qwen3-VL-8B/32B, Qwen3-VL-30B-A3B MoE, InternVL3 jusqu'à 78B Q4 (~48 GB), InternVL3.5-38B, DeepSeek-VL2, Llama 3.2 11B Vision bf16, Llama 3.2 90B Vision Q4 (~52 GB), Molmo 72B Q4, Gemma 3 12B/27B multimodaux, MiniCPM-V 2.6 / MiniCPM-o 2.6, GLM-4.6V-Flash.
Génération d'images
FLUX.1 [dev] / [schnell] fp8 (~20-35 s/image sur une seule L4 en fp8) ; FLUX.1 Kontext [dev] ; FLUX Tools ; SD 3.5 Large (18 GB fp16 / 11 GB fp8) ; SDXL 1.0 ; HunyuanImage-2.1 (~34 GB bf16) ; HunyuanDiT ; Kolors 2.0 ; AuraFlow v0.3 ; OmniGen v1 ; PixArt-Sigma.
Génération de vidéos
Wan 2.2 T2V-A14B / I2V-A14B MoE (juste à la limite en bf16, ~54 GB) ; Wan 2.2 TI2V-5B en voie rapide ; HunyuanVideo 13B Q4-Q8 (~30 GB) ; HunyuanVideo 1.5 (8.3B) ; CogVideoX-5B ; Open-Sora 2.0 Q8 (~16 GB) ; Mochi-1 Q4 (~18 GB) ; LTX-Video ; Pyramid Flow ; SVD / SV3D / SV4D ; NVIDIA Cosmos.
Audio / parole / TTS
- ASR : Whisper v3 large / turbo (~50x le temps réel) ; Parakeet-TDT ; Canary 1B ; Qwen3-ASR ; SenseVoice
- TTS : CosyVoice 2 / 3 ; Kokoro 82M ; Stable Audio Open ; XTTS v2 ; StyleTTS 2 ; Step-Audio-EditX
- Temps réel / S2S : Kyutai Moshi 7B ; Step-Audio 2 mini/R1 ; Qwen2.5-Omni-7B
- Musique / bruitages : MusicGen / AudioGen / Bark ; SeamlessM4T v2
Service multi-modèles / multi-locataires
- 6 flux simultanés d'un modèle Q4 de 24 GB (un par carte) : par exemple 6x agents Qwen3-14B Q4
- Flotte mixte : Llama 3.3 70B Q4 (tensor-parallel sur 2 cartes) + FLUX.1 (1 carte) + Whisper-turbo (1 carte) + Moshi (1 carte) + embedder BGE-M3 (1 carte)
- Service d'embeddings à fort QPS — 6x flux d'embedding parallèles de BGE-M3 / E5 / Nomic / Cohere Embed
- Ferme de transcodage vidéo — 6x flux NVENC/NVDEC parallèles
Charges de travail visées
- API LLM SaaS multi-locataires — servir 20-40 utilisateurs simultanés sur un modèle 24B/32B, avec de la place pour l'image et l'ASR à côté
- Backend RAG — embedder côté requête + lecteur 70B Q4 + reranker, latence inférieure à la seconde, 50 QPS
- Pipeline vidéo-IA — transcodage, sous-titrage et modération en direct sur 6 flux parallèles
- Appliance IA en périphérie, près des bureaux — profil sonore discret, zéro dépendance à un centre de données
- Banc de R&D sur modèles intermédiaires — itération rapide sur des fine-tunings 30-70B, une carte par expérience
Performances mesurées
Références publiées | fiche technique NVIDIA L4 + benchmarks communautaires
| Benchmark | Résultat |
|---|---|
| TOPS INT8 par carte (fiche technique NVIDIA) | 242 TOPS |
| TOPS INT8 cumulés (6 cartes) | 1 452 TOPS |
| Llama 3.1 8B Q4 sur une seule L4 (communauté) | ~35-45 tok/s en flux unique |
| QPS d'embedding BGE-M3 sur L4 (communauté) | ~800 QPS pour une entrée de 512 tokens |
| Facteur temps réel de Whisper v3 turbo | ~1.5-2x le temps réel par carte |
Références externes publiées, non mesurées sur du matériel Kentino. Kentino publiera ses propres chiffres après la première configuration client.
Moins adapté à
- MoE de pointe 200B+ en Q4+ avec contexte long — 4x L40 ou 8x RTX 4090 (pool de 192 GB, TP contigu) conviennent mieux
- Charges d'entraînement — la L4 n'a ni le FP8 ni la bande passante nécessaires à un entraînement efficace
- Débit de pointe sur une charge unique — la puissance par carte reste modeste face à une L40 / RTX Pro 6000
Garantie et délai de livraison
Garantie OEM NVIDIA de 3 ans sur les L4 + garantie d'intégration Kentino. La configuration comprend l'assemblage, le paramétrage du BIOS, l'installation des pilotes, les tests de rodage et la vérification fonctionnelle. Le délai dépend de la disponibilité des composants et est confirmé à la commande.
Options recommandées
- Mise à niveau NVMe 4 TB pour héberger la bibliothèque de modèles
- Baie rack ouverte 24U avec PDU managée
Les questions que les acheteurs nous posent le plus fréquemment avant de commander un serveur.
Combien de temps cela prend-il ?
Les machines assemblées à partir de composants que nous avons en stock partent vite ; tout ce qui exige une génération de GPU précise dépend de l'approvisionnement. Nous vous donnons une date avant le paiement et, si elle bouge, nous vous prévenons plutôt que de vous laisser le découvrir.
La configuration peut-elle être modifiée avant l'assemblage ?
Presque toujours. Les GPU, la mémoire, le stockage et le refroidissement sont choisis commande par commande, et la configuration affichée est un point de départ plutôt qu'un ensemble figé. Si vous avez besoin de plus de VRAM, d'un stockage plus rapide ou d'une autre approche de refroidissement, dites-le nous avant de commander et nous chiffrerons la modification.
Puis-je venir récupérer le serveur sur place ?
Bien sûr. Notre entrepôt est à Prague et le retrait sur place est le bienvenu — la plupart de ceux qui viennent en profitent pour passer la machine en revue avec notre ingénieur et poser les questions qui passent mal par e-mail. Pour les commandes en République tchèque, nous essayons aussi de livrer en personne et de vous accompagner dans l'installation sur site.
Puis-je parler à quelqu'un qui comprend vraiment la charge de travail ?
Oui. Nous avons un ingénieur dédié aux systèmes d'IA, et non un simple service commercial. Si votre question porte sur les tailles de batch, la quantification, l'interconnexion ou l'endroit où se situera votre goulot d'étranglement, posez-la — cette conversation améliore généralement la configuration.
Quel modèle puis-je faire tourner sur cette configuration ?
Oui. Chaque machine est assemblée, soumise à un test de rodage et évaluée sur de véritables charges de travail IA avant son expédition, et elle quitte nos ateliers avec un LLM déjà installé et opérationnel. Vous la branchez, vous la connectez à votre réseau et vous commencez à travailler — la seule décision qui vous reste est de choisir le premier projet qu'elle fera tourner.
Comment testez-vous un serveur avant son expédition ?
Nous les éprouvons sur de véritables charges de travail IA plutôt que sur des scores synthétiques : débit d'inférence, tenue en charge soutenue et comportement thermique en fonctionnement continu. Vous recevez les résultats des tests avec la machine : les performances promises sont donc celles que vous pouvez vérifier dès le premier jour.
Le serveur est-il prêt à fonctionner à son arrivée ?
Oui. Chaque machine est assemblée, soumise à un test de rodage et évaluée sur de véritables charges de travail IA avant son expédition, et elle quitte nos ateliers avec un LLM déjà installé et opérationnel. Vous la branchez, vous la connectez à votre réseau et vous commencez à travailler — la seule décision qui vous reste est de choisir le premier projet qu'elle fera tourner.
Expédition depuis notre entrepôt dans l’UE. Les articles lourds peuvent nécessiter un transport en fret — contactez-nous pour un devis d’expédition et un délai de livraison. Garantie limitée de 2 ans avec support RMA avancé ; extension de garantie disponible.
Pas tout à fait ce qu'il vous faut ?
Dites-nous votre charge de travail et nous configurons cette plateforme autour d'elle — GPU, mémoire, stockage et refroidissement adaptés à ce que vous exécutez vraiment.