Kentino AI 192 RomeDual 4090 5288TOPS — 8× RTX 4090 — double EPYC Milan
Plateforme de qualité professionnelle, assemblée et testée dans l'UE.
Kentino AI 192 RomeDual 4090 5288TOPS
Serveur d'inférence 8 GPU, 192 Go de VRAM
8x RTX 4090 | bi-EPYC Milan | 5 288 TOPS INT8
Machine d'inférence phare à 8 GPU gaming. Pool de 192 Go à l'économie des cartes grand public, sur une plateforme bi-socket EPYC Milan.
Un châssis 7U à 8 GPU construit autour de deux CPU EPYC 7643 Milan (96C/192T au total), d'une carte mère ASRock Rack ROME2D32GM-NL bi-SP3, de 512 Go de DDR4 ECC, d'un disque de démarrage NVMe de 2 To et d'un ensemble de 5 alimentations serveur de 1200 W. Huit GeForce RTX 4090 sont reliées par des risers retimer PCIe Gen4 actifs en x16 complet. La voie la plus économique vers l'inférence MoE de pointe à 192 Go sur du matériel Kentino.
Matériel
| Composant | Détail |
|---|---|
| GPUs | 8x NVIDIA GeForce RTX 4090 24 Go GDDR6X (Ada Lovelace, 450 W, PCIe 4.0 x16) |
| Pool de VRAM | 192 Go au total sur 8 cartes (pas de NVLink sur les RTX 4090 grand public) |
| CPU | 2x AMD EPYC 7643 Milan (48C/96T chacun — 96C/192T au total, 225 W chacun, 2x 128 lignes PCIe 4.0) |
| Carte mère | ASRock Rack ROME2D32GM-NL (bi-SP3, PCIe 4.0, 32 emplacements DIMM DDR4 ECC) |
| RAM système | 512 Go DDR4-2666 ECC RDIMM (8x 64 Go — 4 par socket pour un équilibrage sur 8 canaux) |
| Démarrage / stockage | 2 To NVMe M.2 (PCIe 4.0 x4) |
| Alimentation | Ensemble de 5 alimentations serveur de 1200 W (compatibles HP, échangeables à chaud) + jeu complet d'adaptateurs 12VHPWR |
| Châssis | Châssis 7U à 8 GPU (jusqu'à 10 cartes PCIe, risers compris) |
| Risers | 8 risers retimer PCIe Gen4 x16 actifs (indispensables vu la longueur de câble) |
| Refroidissement | 2x ventirads tour Arctic Freezer 4U-M SP3 + flux d'air avant-arrière en rack (ventilateurs industriels) |
| Réseau | Double 10 GbE intégré (Intel X550) |
Enveloppe de puissance
- Consommation GPU : 8 x 450 W = 3 600 W
- Consommation CPU : 2 x 225 W = 450 W
- Total système à pleine charge : ~4 200 W
- Total alimentations : 6 000 W toutes actives (5x 1200 W) — 30.0 % de marge
Topologie des lignes PCIe
La ROME2D32GM-NL expose 2x 128 lignes PCIe Gen4 — un pool de 128 lignes par socket EPYC — directement vers les emplacements GPU. Risers retimer Gen4 actifs pour l'intégrité du signal. Pas de commutateur PCIe. Pas de NVLink. 19 à 22 Go/s mesurés en pair-à-pair entre GPU sur banc 4 GPU.
Ce que vous pouvez faire tourner
Avec 192 Go répartis sur 8 cartes, ce serveur encaisse des MoE de pointe de plus de 200B en Q4, de l'inférence en parallélisme tensoriel sur 8 voies, du service multi-modèles isolé par locataire et un débit élevé par lots, à l'économie des cartes grand public.
LLM — texte / raisonnement / code
Fleuron chinois
- Qwen3 / Qwen3.5 (Alibaba): Qwen3-235B-A22B Q4 (~132 Go) à contexte long — la configuration vedette (~15-25 tok/s en flux unique sur 8x RTX 4090) ; Qwen3-Coder-480B-A35B Q2 (~160 Go) ; Qwen3.5-122B-A10B fp8 (~75 Go) en multi-flux ; Qwen3-32B dense bf16 en plusieurs instances simultanées
- DeepSeek: DeepSeek-V3/R1 Q2 (~215 Go avec débordement sur 512 Go d'hôte) ; DeepSeek-R2 32B bf16 — jusqu'à 8 flux simultanés, un par carte (~30-40 tok/s par flux)
- GLM / Z.ai: GLM-4.5 / 4.6 / 4.7 Q4 (~177 Go) ; GLM-4.5-Air fp8 ou bf16 ; GLM-4.6V 106B
- Tencent Hunyuan: Hunyuan-Large Q3 (~160 Go) ; Hunyuan-A13B Q4/Q6 (la RTX 4090 est Ada — le fp8 est converti en bf16, utilisez des quantifications GGUF)
- Autres : Baidu ERNIE-4.5-424B Q3 (~180 Go) ; InternVL3.5-241B-A28B Q4 (~135 Go) ; Qwen3.5-397B Q3 (~170 Go) ; MiniMax-M1 Q3 (~180 Go)
Fleuron occidental
- Meta Llama: Llama 3.3 70B bf16 avec un KV massif (~20 tok/s en flux unique en Q4, ~179 tok/s en lot de 32 sous vLLM — mesuré par Kentino sur banc 4 GPU) ; Llama 4 Scout bf16 (~218 Go, tout juste) ; Llama 4 Maverick Q3 (~188 Go)
- Mistral: Mistral Large 2 / Pixtral Large 123B Q6 confortable ou bf16 (~248 Go avec débordement) ; Mistral Small 3 en multi-flux
- OpenAI (poids ouverts) : gpt-oss-120b MXFP4 natif (80 Go) avec un KV très large
- NVIDIA Nemotron: Llama-3.1-Nemotron Ultra 253B Q4 (~147 Go) ; Super 49B bf16
- Autres : Cohere Command R+ 104B Q6 (~85 Go) ; Google Gemma 3 27B bf16 en plusieurs flux
Modèles vision-langage
InternVL3.5-241B-A28B Q4 (~135 Go) ; Qwen3-VL-235B-A22B Q4 ; Qwen3-VL-32B bf16 en multi-flux ; Llama 3.2 90B Vision bf16 (~180 Go) ; Pixtral Large 124B Q6 ; Molmo 72B bf16 ; GLM-4.6V 106B fp8/Q6 ; Gemma 3 27B multimodal en plusieurs flux.
Génération d'images
FLUX.1 [dev] bf16 — jusqu'à 8 flux de génération simultanés (un par carte, ~15-25 s par image en fp8) ; FLUX.1 Kontext [dev] ; FLUX Tools ; SD 3.5 Large bf16 x 8 ; HunyuanImage-2.1 bf16 (~34 Go) x 2-4 simultanés ; HunyuanImage-3.0 base (80B MoE, 13B actifs) bf16 ; HunyuanDiT ; Kolors / Kolors 2.0 ; AuraFlow ; OmniGen v1 ; PixArt-Sigma.
Génération vidéo
Wan 2.2 MoE bi-expert bf16 à contexte complet — plusieurs flux simultanés ; Wan 2.2 TI2V-5B x 8 simultanés ; HunyuanVideo 13B bf16 avec les deux experts ; HunyuanVideo 1.5 ; CogVideoX-5B bf16 ; Open-Sora 2.0 11B bf16 ; Genmo Mochi-1 bf16 ; LTX-Video x 8 simultanés ; Pyramid Flow ; SVD / SV3D / SV4D ; NVIDIA Cosmos.
Audio / parole / synthèse vocale
- ASR: Whisper v3 large / turbo x 8 simultanés (~50x le temps réel par flux) ; Parakeet-TDT ; Canary 1B ; Qwen3-ASR ; SenseVoice
- TTS: CosyVoice 2/3 ; Kokoro 82M ; XTTS v2 ; Stable Audio Open
- Temps réel / S2S : Kyutai Moshi 7B x 8 flux vocaux simultanés ; Step-Audio 2 mini/R1 ; Qwen2.5-Omni-7B
- Musique / effets sonores : MusicGen / AudioGen / Bark ; SeamlessM4T v2
Service multi-modèles / multi-locataires
- Inférence en parallélisme tensoriel sur 8 voies de MoE 200-250B en Q4 (Qwen3-235B, GLM-4.5/4.6/4.7)
- Service à 8 flux isolés par locataire — un modèle Q4 de 24 Go par carte (p. ex. 8 agents Qwen3-14B)
- 70B en gros lots — vLLM / SGLang en parallélisme tensoriel, agrégat en lot de 64
- Parc mixte : MoE 235B sur 4 cartes (TP4) + FLUX + vidéo + voix en temps réel sur les 4 autres
- Laboratoire de fine-tuning — LoRA / QLoRA 7-34B en gros lots
Charges de travail visées
- Inférence en parallélisme tensoriel sur 8 GPU dans le pool de 192 Go — Qwen3-235B Q4, GLM-4.5/4.6/4.7 Q4, Llama 4 Scout bf16
- 70B dense bf16 (Llama 3.3 70B) avec une marge KV massive pour le contexte long et les gros lots
- Passerelle d'inférence par lots à haut débit — vLLM / SGLang en parallélisme tensoriel sur de gros lots
- Fine-tuning de modèles de classe 7-34B en LoRA / QLoRA à gros lots
- Studio vidéo-image en flux de travail complet Wan 2.2 bi-expert / HunyuanImage-3.0 / FLUX.1
Performances mesurées
Banc Kentino (référence 4 GPU) | 2026-04-10 | 4x RTX 4090 + EPYC 7542 + 512 Go DDR4 + ROMED8-2T
| Benchmark | Résultat |
|---|---|
| Calcul soutenu (fp16, référence 4 cartes) | 647 TFLOPS |
| vLLM — Llama 3.3 70B AWQ INT4 (flux unique) | 8.0 tok/s |
| vLLM — Llama 3.3 70B AWQ INT4 (lot de 32) | 179 tok/s agrégés |
| llama.cpp — Llama 3.3 70B Q4_K_M (flux unique) | 20.3 tok/s en décodage |
| Calcul agrégé sur 8 GPU (extrapolation) | ~1 294 TFLOPS fp16 attendus (quasi linéaire) |
| 235B Q4 en parallélisme tensoriel sur 8 voies (communauté) | 15-25 tok/s en flux unique sur 8x RTX 4090 |
Les données sur 4 cartes sont mesurées sur du matériel Kentino. L'extrapolation à 8 GPU provient de références externes publiées. Kentino publiera ses propres chiffres sur 8 GPU après la première configuration client.
Moins adapté à
- Les charges de génération 5090 (fp8 natif Blackwell + TOPS supérieurs) — voir Kentino AI 256 TurinDual 5090
- L'entraînement depuis zéro (pas de NVLink sur les RTX 4090 grand public)
- La production 24/7 sensible à l'ECC — les RTX 4090 grand public n'ont pas d'ECC ; préférez 4x L40 ou 2x RTX Pro 6000 Server Edition
- Le fp8 natif Hunyuan / DeepSeek — la RTX 4090 est Ada, les points de contrôle fp8 sont convertis en bf16
Garantie et délai de livraison
La configuration comprend l'assemblage, le réglage du BIOS avec optimisation NUMA bi-socket, l'installation des pilotes, le rodage, le memtest, un test de charge complet sur 8 GPU et la mise en place de l'environnement LLM. Le délai dépend de la disponibilité des composants et est confirmé à la commande.
Options recommandées
- 4 To de NVMe supplémentaires pour la préparation des poids et les charges MoE avec déport
- NVIDIA ConnectX-5 100 GbE pour le service multi-nœuds
- Passage de la RAM à 1 To (16x 64 Go) ou 2 To (32x 64 Go) — la carte accepte 32 emplacements DIMM
- Baie rack 24U complète + onduleur online 5 kVA
Les questions que les acheteurs nous posent le plus fréquemment avant de commander un serveur.
Combien de temps cela prend-il ?
Les machines assemblées à partir de composants que nous avons en stock partent vite ; tout ce qui exige une génération de GPU précise dépend de l'approvisionnement. Nous vous donnons une date avant le paiement et, si elle bouge, nous vous prévenons plutôt que de vous laisser le découvrir.
La configuration peut-elle être modifiée avant l'assemblage ?
Presque toujours. Les GPU, la mémoire, le stockage et le refroidissement sont choisis commande par commande, et la configuration affichée est un point de départ plutôt qu'un ensemble figé. Si vous avez besoin de plus de VRAM, d'un stockage plus rapide ou d'une autre approche de refroidissement, dites-le nous avant de commander et nous chiffrerons la modification.
Puis-je venir récupérer le serveur sur place ?
Bien sûr. Notre entrepôt est à Prague et le retrait sur place est le bienvenu — la plupart de ceux qui viennent en profitent pour passer la machine en revue avec notre ingénieur et poser les questions qui passent mal par e-mail. Pour les commandes en République tchèque, nous essayons aussi de livrer en personne et de vous accompagner dans l'installation sur site.
Puis-je parler à quelqu'un qui comprend vraiment la charge de travail ?
Oui. Nous avons un ingénieur dédié aux systèmes d'IA, et non un simple service commercial. Si votre question porte sur les tailles de batch, la quantification, l'interconnexion ou l'endroit où se situera votre goulot d'étranglement, posez-la — cette conversation améliore généralement la configuration.
Quel modèle puis-je faire tourner sur cette configuration ?
Oui. Chaque machine est assemblée, soumise à un test de rodage et évaluée sur de véritables charges de travail IA avant son expédition, et elle quitte nos ateliers avec un LLM déjà installé et opérationnel. Vous la branchez, vous la connectez à votre réseau et vous commencez à travailler — la seule décision qui vous reste est de choisir le premier projet qu'elle fera tourner.
Comment testez-vous un serveur avant son expédition ?
Nous les éprouvons sur de véritables charges de travail IA plutôt que sur des scores synthétiques : débit d'inférence, tenue en charge soutenue et comportement thermique en fonctionnement continu. Vous recevez les résultats des tests avec la machine : les performances promises sont donc celles que vous pouvez vérifier dès le premier jour.
Le serveur est-il prêt à fonctionner à son arrivée ?
Oui. Chaque machine est assemblée, soumise à un test de rodage et évaluée sur de véritables charges de travail IA avant son expédition, et elle quitte nos ateliers avec un LLM déjà installé et opérationnel. Vous la branchez, vous la connectez à votre réseau et vous commencez à travailler — la seule décision qui vous reste est de choisir le premier projet qu'elle fera tourner.
Expédition depuis notre entrepôt dans l’UE. Les articles lourds peuvent nécessiter un transport en fret — contactez-nous pour un devis d’expédition et un délai de livraison. Garantie limitée de 2 ans avec support RMA avancé ; extension de garantie disponible.
Pas tout à fait ce qu'il vous faut ?
Dites-nous votre charge de travail et nous configurons cette plateforme autour d'elle — GPU, mémoire, stockage et refroidissement adaptés à ce que vous exécutez vraiment.