Kentino AI 96 Rome 4090 2644TOPS — serveur d'inférence IA 4× RTX 4090
Plateforme de qualité professionnelle, assemblée et testée dans l'UE.
Kentino AI 96 Rome 4090 2644TOPS
Serveur d'inférence 96 GB de VRAM
4x RTX 4090 | EPYC Rome | 2 644 TOPS INT8
Mesuré sur du matériel Kentino. Llama 3.3 70B AWQ INT4 via vLLM 0.19.0.
Un serveur d'inférence rack 4U avec quatre GeForce RTX 4090 mutualisées en 96 GB de VRAM, un CPU AMD EPYC 7542 Rome (32C/64T), 256 GB de DDR4 ECC, un NVMe de 2 TB pour le système et deux alimentations ATX de 2 kW synchronisées. Fait tourner vLLM, SGLang, llama.cpp, ComfyUI et toutes les grandes piles d'inférence open-weight sans configuration.
Matériel
| Composant | Détail |
|---|---|
| GPU | 4x NVIDIA GeForce RTX 4090 24 GB GDDR6X (450 W, PCIe 4.0 x16) |
| pool VRAM | 96 GB au total sur 4 cartes |
| CPU | AMD EPYC 7542 Rome (32C/64T, 225 W, 128x PCIe 4.0 lanes) |
| Carte mère | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| RAM système | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Stockage | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Alimentation | Deux ATX de 2 kW avec câble de synchronisation |
| Châssis | rack 4U, flux d'air dirigé avant-arrière |
| Refroidissement | ventirad tour SP3, 3x ventilateurs industriels 120 mm à l'avant + 1x à l'arrière |
| Réseau | Double 10 GbE intégré (Intel X550) |
Enveloppe électrique
- Consommation GPU : 4 x 450 W = 1 800 W
- Total système : ~2 125 W
- Total alimentations : 4 000 W (deux 2 kW) — 46.9 % de marge
- Distribution de puissance répartie — la panne d'une alimentation = perte de 2 GPU, ou de 2 GPU + carte mère
Topologie des lignes PCIe
128 lignes PCIe Gen4 depuis l'EPYC vers sept slots x16 ; quatre occupés par des GPU en Gen4 x16. Pas de switch PCIe. Pas de NVLink — pair-à-pair à 19-22 GB/s (mesuré par Kentino).
Ce que vous pouvez faire tourner
Avec 96 GB de VRAM mutualisée sur 4 cartes, ce serveur prend en charge les LLM open-weight, les modèles de vision, la génération d'images et de vidéos, l'IA vocale et le service multi-locataire.
LLM — texte / raisonnement / code
Modèles de pointe chinois
- Qwen3 / Qwen3.5 : Qwen3-72B Q4 (~15-20 tok/s); Qwen3-32B Q6; Qwen3-30B-A3B MoE Q4-Q6; Qwen3-Coder-30B-A3B at 256k; Qwen3.5-122B-A10B Q4; QwQ-32B
- DeepSeek : DeepSeek-R2 32B Q4-Q6 (92.7% AIME 2025); DeepSeek-R1-Distill-Qwen-32B bf16; DeepSeek-V2-Lite 16B
- GLM / Z.ai : GLM-4.5-Air 106B/12B Q4-Q5; GLM-4.6V-Flash; GLM-Zero 9B
- Hunyuan : Hunyuan-A13B Q4-Q6 (~48 GB) 256k ctx dual-mode reasoning
- Autres : Seed-OSS-36B Q4 512k ctx; ERNIE-4.5-47B-A3B Q4; Yi-34B Q6; Baichuan-M2-32B; Step-3.5-Flash
Modèles de pointe occidentaux
- Meta Llama : Llama 3.3 70B Q4_K_M (~20 tok/s llama.cpp, ~179 tok/s batch-32 vLLM — Kentino measured); Llama 3.1 8B bf16 (~80-120 tok/s); Llama 4 Scout Q4
- Mistral : Small 3 24B bf16; Magistral Small 24B reasoning; Devstral Small 2 24B 256k ctx; Mixtral 8x7B Q6
- OpenAI : gpt-oss-20b MXFP4 (16 GB); gpt-oss-120b MXFP4 (80 GB tight)
- Autres : Gemma 3 27B Q6 128k; Phi-4 14B bf16; Nemotron-Super 49B Q4; Granite 4.0 H-Small; OLMo 2 32B; Reka Flash 3; Command R 35B
Modèles vision-langage
Qwen3-VL-8B/32B, Qwen3-VL-30B-A3B, Qwen3-Omni-30B-A3B; InternVL3 up to 78B Q4; InternVL3.5-38B; DeepSeek-VL2; Llama 3.2 11B Vision; Pixtral 12B; Molmo 7B; Gemma 3 12B/27B; PaliGemma 2; MiniCPM-V 2.6 / MiniCPM-o 2.6.
Génération d'images
FLUX.1 [dev]/[schnell] fp8 (~15-25 s per 1024x1024); FLUX.1 Kontext; FLUX Tools; SD 3.5 Large; SDXL; HunyuanImage-2.1 bf16 (~34 GB) 2K native; Kolors 2.0; AuraFlow; OmniGen v1.
Génération de vidéos
Wan 2.2 T2V-A14B/I2V-A14B MoE (~54 GB bf16); Wan 2.2 TI2V-5B 720p@24fps; HunyuanVideo 13B Q4-Q5; HunyuanVideo 1.5; CogVideoX-5B; Open-Sora 2.0; Mochi-1; LTX-Video; SVD/SV3D/SV4D; NVIDIA Cosmos Predict 2.
Audio / voix / TTS
- ASR : Whisper v3 turbo (~50x realtime); Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS : CosyVoice 3.0; Kokoro 82M; Stable Audio Open; Step-Audio-EditX
- Temps réel : Kyutai Moshi (200 ms full-duplex); Step-Audio 2 mini; Qwen2.5-Omni-7B
- Musique : MusicGen; AudioGen; Suno Bark; SeamlessM4T v2
Service multi-modèles
- 4-8 utilisateurs simultanés sur des LLM 32-72B via vLLM / SGLang en parallélisme tensoriel
- Mixte : Qwen3-32B + FLUX.1 + Whisper-turbo + Moshi avec VRAM partitionnée
- Fine-tuning LoRA/QLoRA 32-72B ; paramètres complets 7-14B
- RAG avec Command R+ ou Qwen3 + BGE-M3/E5/Jina
Charges de travail visées
- Passerelle d'inférence pour une organisation de 50-200 postes (70B Q4-Q6, 4-8 sessions simultanées)
- Pipeline de diffusion/vidéo en lot (SDXL + FLUX.1 + Wan 2.2 pendant la nuit)
- Laboratoire de fine-tuning LoRA/QLoRA pour des adaptations métier 7-34B
- Assistant documentaire RAG (Qwen3-VL + BGE-M3 + Command R, 32k ctx)
- Machine unique polyvalente : chat + image + ASR + voix en temps réel sur VRAM partitionnée
Performances mesurées
Kentino bench | 2026-04-10 | 4x RTX 4090 + EPYC 7542 + ROMED8-2T
| Benchmark | Résultat |
|---|---|
| Calcul soutenu (fp16) | 647.7 TFLOPS |
| vLLM Llama 3.3 70B AWQ INT4 (single) | 8.0 tok/s |
| vLLM Llama 3.3 70B AWQ INT4 (batch-32) | 179.3 tok/s cumulés |
| llama.cpp Llama 3.3 70B Q4_K_M (single) | 20.3 tok/s |
| Évaluation du prompt | 1 568 tok/s |
| Bande passante mémoire GPU | 920 GB/s par carte |
| Lecture/écriture NVMe | 4 589 / 4 213 MB/s |
| Pic thermique (burn GPU+CPU) | 73 C, 0.6 % de baisse |
vLLM utilisait le noyau awq — 2-3x possible avec awq_marlin.
Moins adapté à
- Les modèles denses de pointe de 100B+ en bf16 (DeepSeek V3/R1, GLM-4.5+, Kimi-K2, Mistral Large 3 — exigent 256+ GB de VRAM)
- L'entraînement depuis zéro (les RTX 4090 grand public n'ont pas de NVLink)
Garantie et délai de livraison
L'assemblage comprend le montage, la configuration du BIOS, l'installation des pilotes, les tests de rodage et la vérification fonctionnelle. Le délai dépend de la disponibilité des composants et est confirmé à la commande.
Options recommandées
- Passer la RAM à 512 GB (ajouter 4x 64 GB DDR4 — quatre slots DIMM libres)
- NVMe secondaire de 4 TB pour le stockage des jeux de données et des modèles
- Baie ouverte 24U pour les déploiements multi-serveurs
Les questions que les acheteurs nous posent le plus fréquemment avant de commander un serveur.
Combien de temps cela prend-il ?
Les machines assemblées à partir de composants que nous avons en stock partent vite ; tout ce qui exige une génération de GPU précise dépend de l'approvisionnement. Nous vous donnons une date avant le paiement et, si elle bouge, nous vous prévenons plutôt que de vous laisser le découvrir.
La configuration peut-elle être modifiée avant l'assemblage ?
Presque toujours. Les GPU, la mémoire, le stockage et le refroidissement sont choisis commande par commande, et la configuration affichée est un point de départ plutôt qu'un ensemble figé. Si vous avez besoin de plus de VRAM, d'un stockage plus rapide ou d'une autre approche de refroidissement, dites-le nous avant de commander et nous chiffrerons la modification.
Puis-je venir récupérer le serveur sur place ?
Bien sûr. Notre entrepôt est à Prague et le retrait sur place est le bienvenu — la plupart de ceux qui viennent en profitent pour passer la machine en revue avec notre ingénieur et poser les questions qui passent mal par e-mail. Pour les commandes en République tchèque, nous essayons aussi de livrer en personne et de vous accompagner dans l'installation sur site.
Puis-je parler à quelqu'un qui comprend vraiment la charge de travail ?
Oui. Nous avons un ingénieur dédié aux systèmes d'IA, et non un simple service commercial. Si votre question porte sur les tailles de batch, la quantification, l'interconnexion ou l'endroit où se situera votre goulot d'étranglement, posez-la — cette conversation améliore généralement la configuration.
Quel modèle puis-je faire tourner sur cette configuration ?
Oui. Chaque machine est assemblée, soumise à un test de rodage et évaluée sur de véritables charges de travail IA avant son expédition, et elle quitte nos ateliers avec un LLM déjà installé et opérationnel. Vous la branchez, vous la connectez à votre réseau et vous commencez à travailler — la seule décision qui vous reste est de choisir le premier projet qu'elle fera tourner.
Comment testez-vous un serveur avant son expédition ?
Nous les éprouvons sur de véritables charges de travail IA plutôt que sur des scores synthétiques : débit d'inférence, tenue en charge soutenue et comportement thermique en fonctionnement continu. Vous recevez les résultats des tests avec la machine : les performances promises sont donc celles que vous pouvez vérifier dès le premier jour.
Le serveur est-il prêt à fonctionner à son arrivée ?
Oui. Chaque machine est assemblée, soumise à un test de rodage et évaluée sur de véritables charges de travail IA avant son expédition, et elle quitte nos ateliers avec un LLM déjà installé et opérationnel. Vous la branchez, vous la connectez à votre réseau et vous commencez à travailler — la seule décision qui vous reste est de choisir le premier projet qu'elle fera tourner.
Expédition depuis notre entrepôt dans l’UE. Les articles lourds peuvent nécessiter un transport en fret — contactez-nous pour un devis d’expédition et un délai de livraison. Garantie limitée de 2 ans avec support RMA avancé ; extension de garantie disponible.
Pas tout à fait ce qu'il vous faut ?
Dites-nous votre charge de travail et nous configurons cette plateforme autour d'elle — GPU, mémoire, stockage et refroidissement adaptés à ce que vous exécutez vraiment.