Kentino AI 384 Rome RTXPro6000 — 4× RTX Pro 6000 Blackwell Server Edition (384 GB de VRAM ECC)
Plateforme de qualité professionnelle, assemblée et testée dans l'UE.
Kentino AI 384 Rome RTXPro6000 8000TOPS
Serveur de centre de données 384 GB de VRAM ECC
4x RTX Pro 6000 Server Edition | EPYC Milan | 8 000 TOPS INT8
Références externes publiées. Non mesurées sur du matériel Kentino.
Un serveur d'inférence rackable 4U équipé de quatre cartes passives NVIDIA RTX Pro 6000 Blackwell Server Edition (96 GB ECC chacune) réunies en un pool de 384 GB de VRAM ECC, d'un processeur AMD EPYC 7643 Milan (48C/96T), de 384 GB de DDR4-2666 ECC, d'un NVMe de démarrage de 2 TB et de deux alimentations ATX de 2.5 kW synchronisées. Silicium Blackwell avec accélération fp8 native. Refroidissement passif à flux d'air dirigé pour châssis de centre de données. Fait tourner DeepSeek V3 Q3, Mistral Large 3, Qwen3-Coder-480B et tous les grands modèles à poids ouverts de pointe.
Matériel
| Composant | Détail |
|---|---|
| GPU | 4x NVIDIA RTX Pro 6000 Blackwell Server Edition 96 GB ECC (refroidisseur passif pour centre de données, 600 W TGP, PCIe 5.0 x16, 2000 TOPS INT8 par carte, fp8 natif) |
| Pool de VRAM | 384 GB ECC cumulés sur 4 cartes |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128 lignes PCIe 4.0) |
| Carte mère | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| RAM système | 384 GB DDR4-2666 ECC RDIMM (6x 64 GB — 2 emplacements DIMM libres pour passer à 512 GB) |
| Démarrage / stockage | NVMe M.2 de 2 TB (PCIe 4.0 x4) |
| Alimentation | 2x ATX 2.5 kW avec câble de synchronisation (5 kW au total) |
| Châssis | Rackable 4U |
| Refroidissement | Ventirad tour SP3 (classe Arctic Freezer 4U-M) + flux d'air dirigé de l'avant vers l'arrière (3x 120 mm en aspiration à l'avant + 1x 120 mm en extraction à l'arrière). Cartes GPU passives — nécessite le flux d'air d'un châssis de centre de données. |
| Réseau | Double 10 GbE intégré (Intel X550) |
Enveloppe électrique
- Consommation GPU : 4 x 600 W = 2 400 W
- Total système en pleine charge : ~2 775 W
- Total alimentations : 5 000 W (deux 2.5 kW synchronisées) — 44.5 % de marge
- Double alimentation pour répartir la distribution — la panne d'une alimentation entraîne la perte de 2 GPU, ou de 2 GPU et de la carte mère
Topologie des lignes
La ROMED8-2T expose 7 ports PCIe 4.0 x16 directement reliés à l'EPYC Milan. Quatre ports occupés — trois libres pour carte réseau, stockage ou télémétrie. La RTX Pro 6000 repose sur du silicium compatible Gen5 ; elle fonctionne en Gen4 au plein x16 sur cette plateforme, sans goulet d'étranglement pour l'inférence. Pas de commutateur PCIe. Pas de NVLink.
Ce que vous pouvez faire tourner
Avec 384 GB de VRAM ECC en pool sur du silicium Blackwell fp8 natif, ce serveur fait tourner DeepSeek V3 / R1 en Q3 confortablement sur les cartes, Mistral Large 3 Q3, GLM-5 Q3, Qwen3-Coder-480B Q3, et Llama 3.3 70B bf16 résident sur une seule carte (96 GB par carte).
LLM — texte / raisonnement / code
Modèles chinois de pointe
- DeepSeek V3 / V3-0324 / V3.1 / V3.2 / R1 / R1-0528 Q3 (~290 GB) confortablement sur les cartes (~30-40 tok/s en mono-requête, référence publiée) ; fp8 natif (~670 GB) avec débordement en RAM
- Qwen3-Coder-480B-A35B Q3 (~350 GB, juste, avec débordement en RAM) — agent de codage ouvert à l'état de l'art (~18-25 tok/s en mono-requête, référence publiée)
- Qwen3-235B-A22B Q6/Q8 (~200-280 GB) avec contexte très long et traitement par lots multi-utilisateurs
- GLM-5 / GLM-5.1 Q3 (~317 GB) — modèle chinois de pointe, proche de Claude Opus 4.6 sur le code
- Kimi-K2 1.58 bit UD (~240 GB) — agent à mille milliards de paramètres à débit réel
- Hunyuan-Large 389B/52B Q4 (~220 GB), fp8 natif (~390 GB avec débordement)
- ERNIE-4.5-424B-A47B Q4 (~240 GB) ; MiniMax-M1 Q4 (~260 GB) contexte 1M
- Llama 3.3 70B bf16 résident sur une seule carte (96 GB par carte — pas de parallélisme tensoriel nécessaire)
Modèles occidentaux de pointe
- Mistral Large 3 (MoE 675B/41B, Apache 2.0) Q3 (~317 GB) — poids ouverts occidentaux de pointe (~20-30 tok/s en mono-requête, référence publiée)
- Llama 4 Maverick (400B/17B) Q4 (~232 GB) avec un budget KV généreux (~45-55 tok/s en mono-requête, référence publiée)
- Llama-3.1-Nemotron Ultra 253B Q4-Q6 (~119-207 GB)
- gpt-oss-120b MXFP4 natif (80 GB) avec une large marge pour une flotte d'instances concurrentes
- Pixtral Large / Mistral Large 2 bf16 (~248 GB) ; Devstral 2 123B bf16 — meilleur modèle de code ouvert en 256k
- Llama 3.3 70B bf16 sur une seule carte ; 4 déploiements 70B simultanés possibles
Modèles vision-langage
Qwen3-VL-235B-A22B bf16 (~240 GB) ; InternVL3.5-241B-A28B Q4 (~135 GB) ; Llama 3.2 90B Vision bf16 ; Pixtral Large 124B bf16 (~248 GB) ; Qwen3-Omni-30B-A3B ; Molmo 72B ; ERNIE-4.5-VL ; GLM-4.6V 106B bf16 en parallélisme tensoriel. Le fp8 Blackwell offre un débit environ 2x supérieur à Ada sur l'inférence de la tour vision.
Génération d'images
FLUX.1 [dev] / Kontext / Tools en fp8 natif (~15-20 s par image 1024x1024 sur une seule RTX Pro 6000, référence publiée) ; SD 3.5 Large ; HunyuanImage-2.1 (17B natif 2K) ; HunyuanImage-3.0 80B/13B MoE ; AuraFlow ; OmniGen ; 4 workers ComfyUI simultanés.
Génération vidéo
Wan 2.2 T2V-A14B / I2V-A14B double expert bf16 ; HunyuanVideo 13B bf16 avec les deux experts ; Open-Sora 2.0 (11B) bf16 ; CogVideoX-5B ; Mochi-1 ; LTX-Video ; Pyramid Flow ; SVD / SV3D / SV4D ; NVIDIA Cosmos Predict 2.
Audio / parole / synthèse vocale
- Reconnaissance vocale : Whisper v3 large / turbo ; Parakeet-TDT 1.1B ; Canary 1B ; Qwen3-ASR ; SenseVoice
- Synthèse vocale : CosyVoice 2/3 ; Kokoro ; Stable Audio Open ; XTTS v2 ; Step-Audio-EditX
- Temps réel / parole-à-parole : Kyutai Moshi ; Step-Audio 2 mini / R1 ; Qwen2.5-Omni-7B
- Musique / effets sonores : MusicGen / AudioGen / Bark / SeamlessM4T
Service multi-modèle / multi-locataire
- DeepSeek V3 Q3 + un 70B simultané + FLUX.1 + Whisper, tous résidents
- Parallélisme tensoriel sur 4 cartes pour la classe 350-400B en Q4
- Isolation par carte — un Llama 3.3 70B bf16 de 96 GB par carte, 4 silos d'inférence indépendants
- RAG multi-modèle : lecteur, reclasseur, vision et encodeur sur un seul hôte
Charges de travail visées
- Backend d'inférence pour modèles à poids ouverts de pointe — DeepSeek V3 Q3, Qwen3-Coder-480B Q3, GLM-5 Q3
- Mise en production d'agents multimodaux Llama 4 Maverick Q4 avec un budget de contexte généreux
- Isolation de 4 locataires, un par carte — un Llama 3.3 70B bf16 par locataire, zéro contamination croisée
- Service DeepSeek / R1 / Hunyuan en fp8 natif sur silicium Blackwell
- Mistral Large 3 Q3 comme alternative occidentale de pointe à poids ouverts sous Apache 2.0
Références de performance publiées
Références externes | Non mesurées sur du matériel Kentino
| Benchmark | Résultat |
|---|---|
| TOPS INT8 par carte RTX Pro 6000 | 2 000 TOPS |
| Bande passante mémoire RTX Pro 6000 | ~1 800 GB/s par carte |
| vLLM — DeepSeek V3 Q3 sur 4x Blackwell PCIe (mono-requête) | ~30-40 tok/s |
| vLLM — DeepSeek V3 Q3 sur 4x Blackwell PCIe (lot de 8) | ~200 tok/s au total |
| SGLang — Llama 4 Maverick Q4 sur 4x Blackwell (mono-requête) | ~45-55 tok/s |
| llama.cpp — Qwen3-Coder-480B Q3 sur 4x Blackwell (mono-requête) | ~18-25 tok/s |
| FLUX.1 [dev] fp8 sur une seule RTX Pro 6000 | ~1.8 s par image 1024x1024 |
Kentino publiera ses propres mesures après la première configuration livrée à un client.
Moins adapté à
- Les charges mono-utilisateur jusqu'à 70B — 4x RTX 5090 reviennent nettement moins cher pour un pool de 128 GB si l'ECC et la fiabilité du passif ne sont pas indispensables
- Un déploiement silencieux en laboratoire ou à proximité des bureaux — le refroidisseur passif exige un vrai flux d'air de centre de données, de l'avant vers l'arrière. Pour les sites sensibles au bruit, choisissez la variante Max-Q à turbine (Kentino AI 384 Rome RTXPro6000MQ)
- L'entraînement de modèles de pointe à partir de zéro (pas de NVLink)
- DeepSeek V3 Q4 complet sur les cartes (~404 GB) — passez à 6x RTX Pro 6000 / 576 GB
Garantie et délai de livraison
L'assemblage comprend le montage, la configuration du BIOS, l'installation des pilotes, le rodage, le memtest et la vérification fonctionnelle. Le délai dépend de la disponibilité des composants et est confirmé à la commande.
Options recommandées
- Passage à 512 GB de DDR4 (ajout de 2x 64 GB — 2 emplacements DIMM libres) pour une marge de débordement en RAM sur les quantifications Q3 de pointe
- NVMe Gen4 x4 de 4 TB pour héberger une bibliothèque de modèles de pointe (DeepSeek V3 Q3 pèse à lui seul ~290 GB sur disque)
- Baie rack 24U complète avec PDU managée et onduleur en ligne
- Autre silhouette : la variante Max-Q à turbine (Kentino AI 384 Rome RTXPro6000MQ) — même silicium, ventilation radiale plus silencieuse, pour les déploiements en laboratoire
Les questions que les acheteurs nous posent le plus fréquemment avant de commander un serveur.
Combien de temps cela prend-il ?
Les machines assemblées à partir de composants que nous avons en stock partent vite ; tout ce qui exige une génération de GPU précise dépend de l'approvisionnement. Nous vous donnons une date avant le paiement et, si elle bouge, nous vous prévenons plutôt que de vous laisser le découvrir.
La configuration peut-elle être modifiée avant l'assemblage ?
Presque toujours. Les GPU, la mémoire, le stockage et le refroidissement sont choisis commande par commande, et la configuration affichée est un point de départ plutôt qu'un ensemble figé. Si vous avez besoin de plus de VRAM, d'un stockage plus rapide ou d'une autre approche de refroidissement, dites-le nous avant de commander et nous chiffrerons la modification.
Puis-je venir récupérer le serveur sur place ?
Bien sûr. Notre entrepôt est à Prague et le retrait sur place est le bienvenu — la plupart de ceux qui viennent en profitent pour passer la machine en revue avec notre ingénieur et poser les questions qui passent mal par e-mail. Pour les commandes en République tchèque, nous essayons aussi de livrer en personne et de vous accompagner dans l'installation sur site.
Puis-je parler à quelqu'un qui comprend vraiment la charge de travail ?
Oui. Nous avons un ingénieur dédié aux systèmes d'IA, et non un simple service commercial. Si votre question porte sur les tailles de batch, la quantification, l'interconnexion ou l'endroit où se situera votre goulot d'étranglement, posez-la — cette conversation améliore généralement la configuration.
Quel modèle puis-je faire tourner sur cette configuration ?
Oui. Chaque machine est assemblée, soumise à un test de rodage et évaluée sur de véritables charges de travail IA avant son expédition, et elle quitte nos ateliers avec un LLM déjà installé et opérationnel. Vous la branchez, vous la connectez à votre réseau et vous commencez à travailler — la seule décision qui vous reste est de choisir le premier projet qu'elle fera tourner.
Comment testez-vous un serveur avant son expédition ?
Nous les éprouvons sur de véritables charges de travail IA plutôt que sur des scores synthétiques : débit d'inférence, tenue en charge soutenue et comportement thermique en fonctionnement continu. Vous recevez les résultats des tests avec la machine : les performances promises sont donc celles que vous pouvez vérifier dès le premier jour.
Le serveur est-il prêt à fonctionner à son arrivée ?
Oui. Chaque machine est assemblée, soumise à un test de rodage et évaluée sur de véritables charges de travail IA avant son expédition, et elle quitte nos ateliers avec un LLM déjà installé et opérationnel. Vous la branchez, vous la connectez à votre réseau et vous commencez à travailler — la seule décision qui vous reste est de choisir le premier projet qu'elle fera tourner.
Expédition depuis notre entrepôt dans l’UE. Les articles lourds peuvent nécessiter un transport en fret — contactez-nous pour un devis d’expédition et un délai de livraison. Garantie limitée de 2 ans avec support RMA avancé ; extension de garantie disponible.
Pas tout à fait ce qu'il vous faut ?
Dites-nous votre charge de travail et nous configurons cette plateforme autour d'elle — GPU, mémoire, stockage et refroidissement adaptés à ce que vous exécutez vraiment.