Kentino AI 576 Genoa RTXPro6000 12000TOPS — serveur IA Frontier 6× RTX Pro 6000 Blackwell Server Edition
Plateforme de qualité professionnelle, assemblée et testée dans l'UE.
Kentino AI 576 Genoa RTXPro6000 12000TOPS
Serveur de recherche de pointe à 576 GB de VRAM ECC
6x RTX Pro 6000 Server Edition | EPYC Genoa | 12 000 TOPS INT8
Références externes publiées. Non mesurées sur matériel Kentino.
Une plateforme d'inférence de tout premier plan, au format rack 7U, avec six cartes NVIDIA RTX Pro 6000 Blackwell Server Edition passives réunies en un pool de 576 GB de VRAM ECC, un processeur AMD EPYC 9354 Genoa (32C/64T), 768 GB de DDR5-4800 ECC (les 12 canaux peuplés), 4 TB de NVMe pour le démarrage et 5x alimentations serveur de 1200 W. Le switch Broadcom PCIe Gen5 intégré distribue uniformément vers les 6 emplacements GPU. DeepSeek V3 Q4 (~404 GB) à l'aise en contexte long, Kimi-K2 Q2, Mistral Large 3 Q2-Q3 — toute la frontière, sur votre site.
Matériel
| Composant | Détail |
|---|---|
| GPU | 6x NVIDIA RTX Pro 6000 Blackwell Server Edition 96 GB ECC (passives, 600 W, PCIe 5.0 x16, 2000 TOPS INT8 par carte) |
| Pool de VRAM | 576 GB au total sur 6 cartes (sans NVLink — P2P sur PCIe Gen5 à ~55-60 GB/s par sens) |
| Processeur | AMD EPYC 9354 Genoa (32C/64T, 280 W, 128x lignes PCIe 5.0, DDR5 12 canaux) |
| Carte mère | ASRock Rack GENOAD8X-2T/BCM (SP5 Genoa, switch Broadcom PEX PCIe Gen5 intégré, 12x DDR5, 2x 10 GbE, IPMI) |
| Mémoire système | 768 GB DDR5-4800 ECC RDIMM (12x 64 GB — tous les canaux peuplés, ~460 GB/s cumulés) |
| Démarrage / stockage | 4 TB NVMe M.2 (PCIe 4.0 x4) — dimensionné pour le stockage de checkpoints de modèles frontière |
| Alimentation | Ensemble de 5x alimentations serveur 1200 W (compatibles HP, 6 kW au total) |
| Châssis | Rack 7U 8 GPU, capacité de 10 emplacements PCIe, risers Gen5 actifs |
| Refroidissement | Ventirad tour SP5 Genoa, 8x ventilateurs de châssis 120 mm, flux d'air avant-arrière type centre de données requis. Cartes GPU passives. |
| Réseau | Double 10 GbE intégré (Intel X550) |
Enveloppe électrique
- Consommation GPU : 6 x 600 W = 3 600 W
- Total système à pleine charge : ~4 080 W
- Total alimentations : 6 000 W (5x 1200 W) — 32 % de marge
- Aucun plafonnement de puissance nécessaire en inférence continue
Topologie des lignes
La GENOAD8X-2T/BCM intègre un switch Broadcom PEX PCIe Gen5 directement sur la carte. Les 128 lignes Gen5 issues de la racine EPYC Genoa alimentent le switch, qui distribue uniformément vers les 6 emplacements GPU en Gen5 x16 de bout en bout via des risers actifs. Topologie à racine unique, donc nette — réglage NUMA plus simple qu'en double socket. Pas de NVLink ; P2P à ~55-60 GB/s par sens.
Ce que vous pouvez exécuter
Avec 576 GB de VRAM ECC mutualisée sur du silicium Blackwell nativement fp8, ce serveur fait tourner toute la frontière open-weight chinoise et occidentale à des quantifications de niveau recherche : DeepSeek V3 Q4 (~404 GB) en contexte long, Kimi-K2 Q2, Mistral Large 3 Q2-Q3, GLM-5 Q2, Qwen3-Coder-480B Q4.
LLM — texte / raisonnement / code
Frontière chinoise
- DeepSeek V3 / R1 / V3.1 / V3.2 en Q4_K_M (~404 GB) à l'aise en contexte long (~5-8 tok/s en requête unique, vLLM TP-6, référence publiée) ; fp8 natif (~670 GB) avec débordement en RAM
- Kimi-K2 (Base / Instruct / Thinking) en Q2_K (~375 GB) à l'aise (~5-8 tok/s en requête unique, référence publiée)
- GLM-5 / GLM-5.1 (~745B/44B) en Q2_K (~260 GB) à l'aise ; Q3 (~420 GB) avec débordement en RAM
- Qwen3-Coder-480B-A35B en Q4_K_M (~270 GB) en contexte long
- Qwen3-235B-A22B en bf16 (~470 GB) ou fp8 (~240 GB)
- ERNIE-4.5-424B-A47B en Q4 (~240 GB) avec contexte complet de 128k
- Intern-S1-Pro (1T/22B actifs, SAGE) en Q2_K (~325 GB) à l'aise
- Hunyuan-Large A52B en Q4 (~220 GB) ; MiniMax-M1 en Q4 (~260 GB)
Frontière occidentale
- Mistral Large 3 (MoE 675B/41B, Apache 2.0) en Q2-Q3 (~243-317 GB) à l'aise (~20-30 tok/s en requête unique, référence publiée)
- Llama 4 Maverick (400B/17B) en Q4_K_M (~232 GB) en contexte long (~45-55 tok/s en requête unique, référence publiée)
- Llama-3.1-Nemotron Ultra 253B en fp8 (~253 GB) ou bf16 avec débordement en RAM
- Grok-1 314B en Q4 (~182 GB) ; Snowflake Arctic en Q4 (~278 GB)
- DBRX Instruct 132B/36B en bf16 (~264 GB) ou fp8 multi-instances
- Tous les modèles de la classe 70-120B en bf16, avec de la marge
Modèles vision-langage
Qwen3-VL-235B-A22B, le VLM phare ; InternVL3.5-241B-A28B Q4 (~135 GB) ; GLM-4.5V / 4.6V 106B bf16 (~210 GB) ; Llama 3.2 90B Vision bf16 ; Pixtral Large 124B fp8 ; Molmo 72B bf16.
Génération d'images
HunyuanImage-3.0 en version Instruct (3x 80 GB) — tient avec de la marge ; FLUX.1 [dev] / [schnell] / Kontext en multi-instances (~15-20 s par image 1024x1024 sur une seule RTX Pro 6000 en fp8, référence publiée) ; SD 3.5 Large ; SDXL ; AuraFlow ; OmniGen ; HunyuanImage-2.1 ; Kolors 2.0.
Génération vidéo
Wan 2.2 T2V-A14B / I2V-A14B MoE bi-expert bf16 (~54 GB) ; HunyuanVideo 13B bf16 à l'aise ; Open-Sora 2.0 (11B) bf16 ; Mochi-1 (10B) fp16 ; NVIDIA Cosmos Predict 2 jusqu'à 14B ; CogVideoX-5B ; LTX-Video ; Pyramid Flow.
Audio / parole / synthèse vocale
Toute la pile résidente en même temps : Whisper v3 large, Parakeet-TDT 1.1B, Canary 1B, Moshi 7B en temps réel, Qwen3-Omni, Step-Audio R1, CosyVoice 3.0, Kokoro, Stable Audio Open.
Service multi-modèle / multi-locataire
- Inférence DeepSeek V3 Q4 + image FLUX + HunyuanVideo + voix temps réel Whisper/Moshi, le tout résident simultanément
- 70B en parallélisme de tenseurs et 235B-MoE en simultané, sur des domaines PCIe distincts grâce au switch Broadcom
- Évaluation A/B en recherche : 3 modèles open-weight de pointe résidents en même temps
Charges de travail visées
- Laboratoire de recherche sur les modèles open-weight de pointe — accès sur site à la classe DeepSeek V3 / Kimi-K2 / Mistral Large 3 sans sortie vers le cloud
- Déploiement d'IA souveraine — résidence des données dans l'UE avec une pile de modèles Apache 2.0 / MIT
- Plateforme RAG multi-modèle et agentique pour l'entreprise — plusieurs modèles MoE de 200-400B résidents
- Évaluation de modèles et recherche en sûreté, comparant les poids ouverts chinois et occidentaux de pointe
- Inférence à grande échelle pour les secteurs réglementés exigeant isolation réseau, ECC et PCIe Gen5
Références de performance publiées
Références externes | Non mesurées sur matériel Kentino
| Benchmark | Résultat |
|---|---|
| TOPS INT8 par carte RTX Pro 6000 | 2 000 TOPS |
| vLLM — DeepSeek V3 Q4 sur 6x RTX Pro 6000 (requête unique) | ~25-40 tok/s |
| vLLM — DeepSeek V3 Q4 sur 6x RTX Pro 6000 (lot de 32) | 200-400 tok/s cumulés |
| FLUX.1 [dev] fp8 sur une seule RTX Pro 6000 | ~15-20 s par image 1024x1024 |
Chiffres exacts confirmés au stade de la preuve de concept. Kentino publiera ses propres mesures après la première configuration client.
Moins adapté à
- Le service en production à pleine vitesse de Kimi-K2 / DeepSeek V3 en Q4 — passez alors au modèle Turin double socket 768 GB
- L'entraînement depuis zéro de modèles de classe frontière — pas de NVLink, uniquement du P2P PCIe
- Un déploiement clé en main — servir des MoE de pointe exige une équipe MLOps aguerrie
Garantie et délai de livraison
La configuration comprend l'assemblage, le paramétrage du BIOS, l'installation des pilotes, le rodage, le memtest, la vérification fonctionnelle et la mise en place de l'environnement LLM (pile vLLM / SGLang / llama.cpp / CUDA 13 avec noyaux fp8 Blackwell). Le délai dépend de la disponibilité des composants et est confirmé à la commande.
Options recommandées
- Carte réseau NVIDIA ConnectX-5 MCX555A-ECAT 100 GbE pour la montée en charge multi-nœuds
- Second NVMe de 4 TB pour la bibliothèque de jeux de données et de modèles
- Baie rack 24U complète avec porte avant perforée
- Onduleur online 10 kVA
- PDU managée
Les questions que les acheteurs nous posent le plus fréquemment avant de commander un serveur.
Combien de temps cela prend-il ?
Les machines assemblées à partir de composants que nous avons en stock partent vite ; tout ce qui exige une génération de GPU précise dépend de l'approvisionnement. Nous vous donnons une date avant le paiement et, si elle bouge, nous vous prévenons plutôt que de vous laisser le découvrir.
La configuration peut-elle être modifiée avant l'assemblage ?
Presque toujours. Les GPU, la mémoire, le stockage et le refroidissement sont choisis commande par commande, et la configuration affichée est un point de départ plutôt qu'un ensemble figé. Si vous avez besoin de plus de VRAM, d'un stockage plus rapide ou d'une autre approche de refroidissement, dites-le nous avant de commander et nous chiffrerons la modification.
Puis-je venir récupérer le serveur sur place ?
Bien sûr. Notre entrepôt est à Prague et le retrait sur place est le bienvenu — la plupart de ceux qui viennent en profitent pour passer la machine en revue avec notre ingénieur et poser les questions qui passent mal par e-mail. Pour les commandes en République tchèque, nous essayons aussi de livrer en personne et de vous accompagner dans l'installation sur site.
Puis-je parler à quelqu'un qui comprend vraiment la charge de travail ?
Oui. Nous avons un ingénieur dédié aux systèmes d'IA, et non un simple service commercial. Si votre question porte sur les tailles de batch, la quantification, l'interconnexion ou l'endroit où se situera votre goulot d'étranglement, posez-la — cette conversation améliore généralement la configuration.
Quel modèle puis-je faire tourner sur cette configuration ?
Oui. Chaque machine est assemblée, soumise à un test de rodage et évaluée sur de véritables charges de travail IA avant son expédition, et elle quitte nos ateliers avec un LLM déjà installé et opérationnel. Vous la branchez, vous la connectez à votre réseau et vous commencez à travailler — la seule décision qui vous reste est de choisir le premier projet qu'elle fera tourner.
Comment testez-vous un serveur avant son expédition ?
Nous les éprouvons sur de véritables charges de travail IA plutôt que sur des scores synthétiques : débit d'inférence, tenue en charge soutenue et comportement thermique en fonctionnement continu. Vous recevez les résultats des tests avec la machine : les performances promises sont donc celles que vous pouvez vérifier dès le premier jour.
Le serveur est-il prêt à fonctionner à son arrivée ?
Oui. Chaque machine est assemblée, soumise à un test de rodage et évaluée sur de véritables charges de travail IA avant son expédition, et elle quitte nos ateliers avec un LLM déjà installé et opérationnel. Vous la branchez, vous la connectez à votre réseau et vous commencez à travailler — la seule décision qui vous reste est de choisir le premier projet qu'elle fera tourner.
Expédition depuis notre entrepôt dans l’UE. Les articles lourds peuvent nécessiter un transport en fret — contactez-nous pour un devis d’expédition et un délai de livraison. Garantie limitée de 2 ans avec support RMA avancé ; extension de garantie disponible.
Pas tout à fait ce qu'il vous faut ?
Dites-nous votre charge de travail et nous configurons cette plateforme autour d'elle — GPU, mémoire, stockage et refroidissement adaptés à ce que vous exécutez vraiment.