Kentino AI 128 Rome 5090 6704TOPS — serveur IA Blackwell 4× RTX 5090
Plateforme de qualité professionnelle, assemblée et testée dans l'UE.
Kentino AI 128 Rome 5090 6704TOPS
Serveur d'inférence Blackwell 128 GB de VRAM
4x RTX 5090 | EPYC Milan | 6 704 TOPS INT8
Quatre RTX 5090 Blackwell avec chemins tensoriels fp8/fp4 natifs. La configuration à 4 GPU au débit le plus élevé sur plateforme Rome.
Un serveur d'inférence 4U montable en rack avec quatre GeForce RTX 5090 mutualisées en un pool de 128 GB de VRAM, un CPU AMD EPYC 7643 Milan (48C/96T), 512 GB de DDR4 ECC (les 8 emplacements DIMM occupés pour une bande passante maximale), 2 TB de NVMe pour le démarrage et deux alimentations ATX de 2 kW synchronisées. Fait tourner vLLM, SGLang, llama.cpp et ComfyUI avec les noyaux d'inférence fp8 et MXFP4 natifs Blackwell.
Matériel
| Composant | Détail |
|---|---|
| GPU | 4x NVIDIA GeForce RTX 5090 32 GB GDDR7 (Blackwell, 575 W, PCIe 5.0 x16) |
| Pool de VRAM | 128 GB au total sur 4 cartes (pas de NVLink sur les 5090 grand public) |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128 lignes PCIe 4.0) |
| Carte mère | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Mémoire système | 512 GB DDR4-2666 ECC RDIMM (8x 64 GB — tous les emplacements DIMM occupés) |
| Démarrage / stockage | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Alimentation | Deux alimentations ATX de 2 kW avec câble de synchronisation + jeu d'adaptateurs 12VHPWR |
| Châssis | 4U montable en rack, 4x GPU, risers PCIe 4.0 x16 passifs |
| Refroidissement | Tour Arctic Freezer 4U-M SP3 + 3x 120 mm en aspiration frontale + 1x 120 mm en extraction arrière |
| Réseau | Double 10 GbE intégré (Intel X550) |
Enveloppe électrique
- Consommation GPU : 4 x 575 W = 2 300 W
- Total système en pleine charge : ~2 650 W
- Total alimentations : 4 000 W (deux 2 kW synchronisées) — 33.8 % de marge
- Double alimentation pour répartir la distribution — chacune alimente une partie du système
Topologie des lignes PCIe
La ROMED8-2T distribue les 128 lignes PCIe Gen4 de l'EPYC directement vers sept ports x16 ; quatre sont occupés par les GPU en Gen4 x16. Pas de commutateur PCIe. Pas de NVLink sur les 5090 grand public — échanges peer-to-peer entre GPU. Les cartes sont nativement Gen5 ; Rome plafonne en Gen4.
Ce que vous pouvez faire tourner
Avec 128 GB de VRAM mutualisée et des chemins tensoriels fp8 natifs Blackwell, ce serveur passe au niveau supérieur : Qwen3-235B-A22B Q4 et gpt-oss-120b MXFP4 avec une vraie marge de KV — au-delà de ce qu'atteignent 4x RTX 4090.
LLM — texte / raisonnement / code
Modèles de pointe chinois
- Qwen3 / Qwen3.5 (Alibaba) : Qwen3-235B-A22B Q3-Q4 (~112-132 GB) tient dans le pool de 128 GB avec 8-16k de contexte — la configuration vedette ; Qwen3-32B dense bf16 (~65 GB) avec un KV massif ; Qwen3-Coder-30B-A3B en mode agentique à 1M de contexte ; Qwen3.5-122B-A10B Q6/fp8 (~75-80 GB) ; QwQ-32B bf16 pour le raisonnement
- DeepSeek : DeepSeek-V3/R1/V3.1/V3.2 fp8 natif Q2 (~215 GB) avec débordement en RAM sur les 512 GB de l'hôte — envisageable en traitement par lots ; DeepSeek-R2 32B bf16 en multi-flux (4 flux simultanés, un par carte)
- GLM / Z.ai : GLM-4.5-Air 106B/12B fp8 (~106 GB) ou Q6 sans difficulté ; GLM-4.5/4.6/4.7 Q2_K_XL (~135 GB) serré, avec déport des experts MoE
- Tencent Hunyuan : Hunyuan-A13B fp8 natif (~80 GB) — Blackwell exécute le fp8 sans pénalité de conversion ; Hunyuan-Large Q2 avec débordement en RAM
- ByteDance Seed-OSS-36B bf16 avec 512k natifs ; ERNIE-4.5-424B Q2 (~150 GB avec débordement)
Modèles de pointe occidentaux
- Meta Llama : Llama 3.3 70B Q4 réparti sur 4x 5090 (~30-40 tok/s en flux unique, ~270+ tok/s en lot de 32 sous vLLM) ; Llama 4 Scout 109B/17B MoE fp8/Q6 (~90 GB) ; Llama 4 Maverick 400B/17B Q3 (~188 GB avec débordement)
- Mistral : Mistral Small 3 / Magistral / Devstral Small 2 (24B) bf16 en multi-flux ; Pixtral Large / Mistral Large 2 (123B) Q6 (~88 GB)
- OpenAI (poids ouverts) : gpt-oss-120b MXFP4 natif (80 GB) avec un vrai KV et un contexte long — la charge vedette sur Blackwell ; gpt-oss-20b MXFP4
- Google Gemma 3 : 27B multimodal bf16 (~54 GB) sur deux flux simultanés ; 12B / 4B
- Microsoft Phi-4 14B dense bf16 ; Phi-4-reasoning distillé
- NVIDIA Nemotron : Llama-3.1-Nemotron Ultra 253B Q3 (~119 GB) serré ; Super 49B bf16 (~98 GB)
- Autres : Cohere Command R+ 104B Q6 (~85 GB) ; Molmo 72B Q6-bf16 VLM ; OLMo 2 32B ; IBM Granite 4.0 H-Small
Modèles vision-langage
Qwen3-VL-235B-A22B Q3-Q4 ; Qwen3-VL-32B bf16 ; InternVL3.5-241B-A28B Q4 (~135 GB, serré) ; InternVL3 78B bf16 ; Llama 3.2 90B Vision Q6 (~74 GB) ; Pixtral Large 124B Q6 (~88 GB) ; Molmo 72B Q6/bf16 ; Gemma 3 27B multimodal bf16 ; GLM-4.6V 106B fp8.
Génération d'images
FLUX.1 [dev] bf16 et fp8 (~10-18 s par image en fp8) ; FLUX.1 Kontext [dev] ; SD 3.5 Large bf16 ; HunyuanImage-2.1 bf16 et Q4 ; HunyuanImage-3.0 base (80B MoE, 13B actifs) bf16 (~80 GB, empreinte vedette) ; HunyuanDiT ; Kolors / Kolors 2.0 ; AuraFlow v0.3 ; OmniGen v1 ; PixArt-Sigma.
Génération vidéo
Wan 2.2 MoE à deux experts bf16 (~54 GB, contexte complet) ; Wan 2.2 TI2V-5B ; HunyuanVideo 13B bf16 avec les deux experts (~60-80 GB) ; HunyuanVideo 1.5 ; CogVideoX-5B bf16 ; Open-Sora 2.0 11B bf16 (~24 GB) ; Genmo Mochi-1 bf16 (~42 GB) ; LTX-Video ; Pyramid Flow ; SVD / SV3D / SV4D ; NVIDIA Cosmos.
Audio / parole / synthèse vocale
- Reconnaissance vocale : Whisper v3 large / turbo (~50x le temps réel) ; Parakeet-TDT ; Canary 1B ; Qwen3-ASR ; SenseVoice
- Synthèse vocale : CosyVoice 2 / 3 ; Kokoro 82M ; Stable Audio Open ; XTTS v2 ; StyleTTS 2 ; Step-Audio-EditX
- Temps réel / parole-à-parole : Kyutai Moshi 7B ; Step-Audio 2 mini/R1 ; Qwen2.5-Omni-7B
- Musique / effets sonores : MusicGen / AudioGen / Bark ; SeamlessM4T v2
Service multi-modèle / multi-locataire
- MoE de 200B en Q4 avec inférence par lots (Qwen3-235B, GLM-4.5/4.6/4.7-Air) pour 8 à 16 utilisateurs simultanés
- Modèles de pointe fp8 natifs — famille DeepSeek V3, Hunyuan-Large fp8 avec les chemins natifs Blackwell
- Pile mixte résidente : gpt-oss-120b MXFP4 + FLUX.1 + Whisper + Moshi sur une VRAM partitionnée
- 70B à haut débit — vLLM / SGLang en parallélisme tensoriel avec plus de 200 tok/s cumulés en lot
Charges de travail visées
- Mise en production de MoE de 200B+ en Q3-Q4 avec un vrai KV (Qwen3-235B, GLM-4.5-Air 106B)
- Inférence de pointe en fp8 natif (DeepSeek V3/R1 fp8, Hunyuan fp8) — Blackwell s'exécute sans conversion
- Service de modèles 70B à haut débit — lots en parallélisme tensoriel via vLLM ou SGLang
- Studio de génération vidéo en bf16 (Wan 2.2 à deux experts, HunyuanVideo 13B, Mochi-1)
- Charge mixte multi-locataire — MoE de 120B + génération d'images + voix en temps réel, tous résidents
Performances mesurées
Références publiées | fiche technique NVIDIA RTX 5090 + benchmarks de la communauté
| Benchmark | Résultat |
|---|---|
| TOPS INT8 par carte (fiche technique NVIDIA) | 1 676 TOPS |
| TOPS INT8 cumulés (4 cartes) | 6 704 TOPS |
| Bande passante mémoire par carte | ~1 792 GB/s |
| Llama 3.3 70B Q6 via vLLM (communauté) | 60-90 tok/s en flux unique, 300+ tok/s en lot |
| Qwen3-235B-A22B Q3-Q4 | Tient dans le pool de 128 GB avec 8-16k de contexte |
| gpt-oss-120b MXFP4 natif | 80 GB — confortable, avec de la marge pour le KV |
Références externes publiées, non mesurées sur du matériel Kentino. Kentino publiera ses propres chiffres après la première configuration livrée à un client.
Ce pour quoi il n'est pas idéal
- Les modèles de pointe de 400B+ en Q4 (Kimi-K2, Mistral Large 3, Intern-S1-Pro — ils exigent 8 GPU ou 6x RTX Pro 6000)
- Les charges sensibles au lien PCIe Gen5 — choisissez la déclinaison Genoa pour du Gen5 x16 natif
- L'entraînement depuis zéro (pas de NVLink sur les 5090 grand public)
- La production 24/7 sensible à l'ECC — la 5090 grand public n'a pas d'ECC ; préférez les L40 ou les RTX Pro 6000 Server Edition
Garantie et délai de livraison
La prestation comprend l'assemblage, la configuration du BIOS, l'installation des pilotes, les tests de rodage et la vérification fonctionnelle. Le délai dépend de la disponibilité des composants et est confirmé à la commande.
Options recommandées
- Passer à deux alimentations de 2.5 kW (FSP) pour tenir le pire cas en bf16 + vidéo sur la durée — recommandé en 24/7
- NVMe de 4 TB pour la bibliothèque de modèles et la préparation des poids MoE
- Baie ouverte 24U pour un déploiement multi-serveurs
- Envisager la variante sur plateforme Genoa, sur demande, pour un lien Gen5 x16
Les questions que les acheteurs nous posent le plus fréquemment avant de commander un serveur.
Combien de temps cela prend-il ?
Les machines assemblées à partir de composants que nous avons en stock partent vite ; tout ce qui exige une génération de GPU précise dépend de l'approvisionnement. Nous vous donnons une date avant le paiement et, si elle bouge, nous vous prévenons plutôt que de vous laisser le découvrir.
La configuration peut-elle être modifiée avant l'assemblage ?
Presque toujours. Les GPU, la mémoire, le stockage et le refroidissement sont choisis commande par commande, et la configuration affichée est un point de départ plutôt qu'un ensemble figé. Si vous avez besoin de plus de VRAM, d'un stockage plus rapide ou d'une autre approche de refroidissement, dites-le nous avant de commander et nous chiffrerons la modification.
Puis-je venir récupérer le serveur sur place ?
Bien sûr. Notre entrepôt est à Prague et le retrait sur place est le bienvenu — la plupart de ceux qui viennent en profitent pour passer la machine en revue avec notre ingénieur et poser les questions qui passent mal par e-mail. Pour les commandes en République tchèque, nous essayons aussi de livrer en personne et de vous accompagner dans l'installation sur site.
Puis-je parler à quelqu'un qui comprend vraiment la charge de travail ?
Oui. Nous avons un ingénieur dédié aux systèmes d'IA, et non un simple service commercial. Si votre question porte sur les tailles de batch, la quantification, l'interconnexion ou l'endroit où se situera votre goulot d'étranglement, posez-la — cette conversation améliore généralement la configuration.
Quel modèle puis-je faire tourner sur cette configuration ?
Oui. Chaque machine est assemblée, soumise à un test de rodage et évaluée sur de véritables charges de travail IA avant son expédition, et elle quitte nos ateliers avec un LLM déjà installé et opérationnel. Vous la branchez, vous la connectez à votre réseau et vous commencez à travailler — la seule décision qui vous reste est de choisir le premier projet qu'elle fera tourner.
Comment testez-vous un serveur avant son expédition ?
Nous les éprouvons sur de véritables charges de travail IA plutôt que sur des scores synthétiques : débit d'inférence, tenue en charge soutenue et comportement thermique en fonctionnement continu. Vous recevez les résultats des tests avec la machine : les performances promises sont donc celles que vous pouvez vérifier dès le premier jour.
Le serveur est-il prêt à fonctionner à son arrivée ?
Oui. Chaque machine est assemblée, soumise à un test de rodage et évaluée sur de véritables charges de travail IA avant son expédition, et elle quitte nos ateliers avec un LLM déjà installé et opérationnel. Vous la branchez, vous la connectez à votre réseau et vous commencez à travailler — la seule décision qui vous reste est de choisir le premier projet qu'elle fera tourner.
Expédition depuis notre entrepôt dans l’UE. Les articles lourds peuvent nécessiter un transport en fret — contactez-nous pour un devis d’expédition et un délai de livraison. Garantie limitée de 2 ans avec support RMA avancé ; extension de garantie disponible.
Pas tout à fait ce qu'il vous faut ?
Dites-nous votre charge de travail et nous configurons cette plateforme autour d'elle — GPU, mémoire, stockage et refroidissement adaptés à ce que vous exécutez vraiment.