Nous avons construit un serveur IA de 576 GB qui fait tourner GLM 5.2 dans vos locaux

Le serveur IA sur site de Kentino embarque six cartes NVIDIA RTX PRO 6000 Blackwell Max-Q, deux processeurs EPYC et une redondance suffisante pour survivre au retrait d'une alimentation — de quoi faire tourner des modèles de pointe chez vous, et non dans le cloud de quelqu'un d'autre.

Tout le monde connaît One Miners. Voici maintenant Kentino.

Si vous fréquentez notre univers depuis quelque temps, vous connaissez One Miners. Kentino en est la société sœur, et Kentino construit des machines : serveurs IA, stations de travail, PC de jeu — à peu près tout ce que décrit la fiche technique que vous avez en tête.

Cet article porte sur l'une de ces machines. C'est un système que nous avons assemblé pour un client : nous ne dirons donc pas à qui il est destiné. Ce que nous pouvons faire, c'est ouvrir le capot et vous montrer précisément ce que contient un serveur IA sur site lorsqu'on cesse de faire des compromis.

L'idée : une IA de la classe de Claude qui ne quitte jamais vos murs

L'intérêt de cette machine est simple. Vous disposez d'un assistant de la même classe que Claude Opus ou GPT — et il s'exécute chez vous. Dans vos bureaux, votre salle serveurs, votre domicile si c'est là que vous travaillez. Chaque prompt, chaque document, chaque ligne de code que vous y collez reste à l'intérieur de votre propre réseau.

Voilà le marché proposé : pas de facturation au token qui grimpe à mesure que l'outil devient utile, pas de file d'attente derrière d'autres clients, aucun tiers détenant votre fenêtre de contexte. Le matériel vous appartient, donc la charge de travail aussi.

À l'intérieur : six GPU professionnels de 96 GB chacun

Ouvrez le châssis : la première chose que vous voyez est le mur de GPU — trois cartes d'un côté, trois de l'autre. Chacune est une NVIDIA RTX PRO 6000 Blackwell Max-Q dotée de 96 GB de VRAM. Six cartes, soit environ 576 GB de mémoire vidéo dans une seule machine.

Cette configuration en compte six, mais le châssis n'est pas plein : il accepte jusqu'à huit cartes, ce qui laisse de la place pour ajouter des GPU plus tard ou consacrer les ports à tout autre chose, comme du réseau fibre. Derrière la rangée de GPU, deux processeurs AMD EPYC 7643 les alimentent en données.

Ce sont les pièces les moins spectaculaires qui comptent

Une machine comme celle-ci se joue sur les caractéristiques les plus ingrates. Mémoire : 512 GB de DDR4 montés en 8x 64 GB de LRDIMM, extensibles à 1.5 TB quand la charge de travail l'exige. Stockage : un disque système de 2 TB plus 4 TB de NVMe, car les poids des modèles doivent quitter le disque très vite.

Côté énergie, cinq alimentations redondantes de 2000 W. Retirez-en une en pleine exécution : le serveur continue — il vous fera savoir son mécontentement, mais il continue. Le refroidissement repose sur douze ventilateurs haute pression à 15,000 tr/min, échangeables à chaud, alignés en rangées à travers le châssis. Vous pouvez arracher un ventilateur mort pendant que la machine est en charge, en glisser un neuf, refermer et repartir. Elle hurle quelques secondes. C'est toute la procédure de maintenance.

La carte mère intègre une gestion à distance dédiée, un double port LAN 10 Gigabit, une sortie VGA embarquée pour un terminal, de l'USB 3.2, ainsi qu'un bouton d'alimentation principal et un secondaire, pour ne rien avoir à sortir du rack lors d'un redémarrage.

Faire tourner GLM 5.2 en local

La charge de travail phare, c'est GLM 5.2 en Q4 — environ 341 GB de poids de modèle, répartis en permanence sur les six GPU. C'est un modèle véritablement volumineux, et il réside dans vos locaux. D'autres modèles ouverts tournent aussi sur cette machine : la VRAM est largement suffisante pour en garder plusieurs chargés ou pour passer de l'un à l'autre.

Un démarrage à froid n'a rien d'instantané, et nous préférons vous le dire plutôt que vous le laisser découvrir. Entre le BIOS qui énumère tout ce matériel, Linux qui met en place un arbre de périphériques très étendu, puis le transfert de 341 GB du SSD vers la VRAM, il faut compter de l'ordre de quelques minutes avant le premier token. Une fois la machine chaude, il n'existe pas de chiffre de débit unique, et quiconque vous en annonce un élude la question. Tout dépend de trois facteurs : le nombre de requêtes en cours, l'activation ou non du décodage spéculatif, et le fait que le modèle tienne ou non sur une seule carte.

Pour GLM 5.2 réparti sur les six GPU : en décodage pur à une seule requête, sans décodage spéculatif, on obtient environ 25–40 tokens/sec — c'est le résultat du calcul, et c'est la valeur affichée sur notre fiche produit publique. Activez le décodage spéculatif, toujours une requête à la fois, et vous passez à 40–60. C'est le régime visible dans la vidéo, d'où les quelque 42 tokens/sec mesurés à l'écran. Ajoutez de la concurrence par-dessus le décodage spéculatif et la même machine atteint 60–120.

Ce sont là des chiffres de très gros modèle, avec 341 GB étalés sur six cartes. Descendez à un modèle qui tient dans un seul GPU de 96 GB et vous passez à plusieurs milliers de tokens par seconde en cumulé, puisque vous faites tourner six instances indépendantes au lieu d'une seule répartie. Même matériel, un ordre de grandeur d'écart — c'est précisément pour cela qu'un chiffre unique mis en avant n'a aucun sens.

Au-delà de la conversation et du code, le même silicium constitue une sérieuse machine de génération d'images, et il assure aussi le travail vidéo. La différence pratique avec un point d'accès dans le cloud ne tient pas qu'à la vitesse : personne n'est devant vous dans la file.

Pourquoi du Max-Q, et ce que ce choix coûte réellement

Un détail sur lequel il vaut mieux être honnête : il s'agit des variantes Max-Q de la RTX PRO 6000. La Max-Q fonctionne avec une enveloppe de 300 W au niveau de la carte. La version non Max-Q est un modèle à 600 W que l'on peut plafonner autour de 400 W dans le pilote.

La Max-Q sacrifie un peu de cache embarqué contre cette consommation nettement inférieure. Dans un châssis à six cartes, c'est ce compromis qui rend le budget thermique et électrique tenable. C'est le genre de décision que l'on prend une fois, à la conception, et avec laquelle on vit sereinement — à condition d'avoir su qu'on la prenait.

La suite — et comment vous en procurer un

Deux ou trois autres pièces traînaient sur le banc pendant le tournage, sans appartenir à ce serveur. Une RTX 4090, et une NVIDIA CMP 170HX — une carte de minage de l'ère Ethereum, affichée à 1,600 € sur notre site. Cette carte aura droit à un vrai test et à un vrai banc d'essai dans la prochaine vidéo : inutile donc de l'expliquer à moitié ici.

Nous préparons également un véritable tableau de benchmarks portant sur plusieurs modèles ouverts. Des chiffres, une méthodologie, aucun approximatif. Ce sera aussi pour la prochaine fois.

Si vous voulez une machine comme celle-ci — ou une version plus modeste, ou une station de travail, ou une configuration de jeu — c'est précisément le métier de Kentino. Parcourez la collection Serveurs IA, ou dites-nous ce qu'il vous faut et nous le dimensionnerons pour vous.