InfiniBand, RoCE ou Ethernet classique : choisir son réseau en 2026

Trois choix de transport reviennent dans chaque appel d'offres de cluster IA multi-nœuds : InfiniBand, RoCE et l'Ethernet TCP/IP classique. Ce ne sont pas trois points sur une même échelle. Ce sont trois philosophies d'ingénierie distinctes — un réseau HPC sans perte par conception, un Ethernet réglé pour être sans perte, et la pile réseau de tous les jours utilisée par le reste de l'informatique — avec des courbes de coût différentes, des empreintes opérationnelles différentes et des réponses très différentes selon ce que vous construisez réellement.

Cet article explique ce qu'est chacune de ces solutions, où partent vraiment la latence et l'argent en 2026, et où se situe la frontière entre « nous avons besoin de RDMA » et « nous avons besoin de RDMA, et précisément d'InfiniBand ». Nous terminons par une matrice de décision claire.

Public visé : les personnes qui dimensionnent un cluster IA de 2 à 32 nœuds et cherchent à savoir si la ligne budgétaire d'un commutateur InfiniBand est honnête ou purement théâtrale. Voir aussi N01 pour les bases du 25/100 GbE, N06 pour le budget de latence sous-jacent, N07 pour les réglages de routage et N08 pour la mise en service pratique du RDMA.

Trois réseaux, et ce qu'ils sont vraiment

InfiniBand natif est un réseau HPC conçu pour cet usage. La couche liaison est sans perte par conception : le contrôle de flux par crédits fait qu'un émetteur n'envoie rien tant que le récepteur n'a pas de place en mémoire tampon, si bien que les paquets ne sont pas perdus sous congestion comme ils le sont en Ethernet. Le routage est centralisé : chaque réseau dispose d'un gestionnaire de sous-réseau (un processus opensm ou un SM embarqué dans un commutateur managé) qui attribue les LID, calcule les chemins et reconfigure le réseau en cas de changement de topologie. La surface applicative, c'est l'API verbs — ibv_post_send, paires de files d'attente, files de complétion, régions mémoire — la même API que le reste du monde RDMA a reprise.

En 2026, la génération déployée est NDR (400 Gb/s par port, ConnectX-7, commutateurs Quantum-2). XDR (800 Gb/s, ConnectX-8, Quantum-X800) arrive cette année dans les commandes des hyperscalers et des laboratoires d'IA ; l'IBTA a publié la spécification XDR en 2023 et le silicium est désormais produit en volume. La latence par saut de commutateur est inférieure à 100 ns sur le silicium NDR en cut-through — la plus faible du marché, et ce d'un facteur quatre environ depuis vingt ans.

RoCEv2 (RDMA over Converged Ethernet, version 2), c'est la même API verbs RDMA transportée en UDP/IP sur Ethernet. Sur une ConnectX-7 ou une ConnectX-8, le silicium de la carte réseau est exactement la même puce que la version InfiniBand : un indicateur firmware (LINK_TYPE_P1 = 1 pour IB, 2 pour Ethernet) fait basculer d'un mode à l'autre. Ce qui n'est pas gratuit : Ethernet est perdant par défaut, alors que RDMA suppose un transport sans perte. Un déploiement RoCE exige donc que le réseau se comporte comme InfiniBand au niveau liaison, c'est-à-dire du Priority Flow Control (PFC) comme frein d'urgence immédiat, de l'ECN comme signal de congestion de fond, et une boucle de contrôle comme DCQCN pour relier les deux. C'est ce travail de configuration — et le risque opérationnel qui l'accompagne — qui sépare RoCE de l'Ethernet classique. Bien fait, RoCEv2 se rapproche fortement de la latence InfiniBand : 1,5 à 2,5 µs de RTT RDMA sur un même commutateur, contre environ 1 µs pour IB.

L'Ethernet TCP/IP classique, c'est tout le reste de la planète. API sockets, pile réseau du noyau, pas de RDMA, aucune garantie d'absence de perte. Les performances se situent dans la bande des 10 à 30 µs par sens, conformément à N06, le débit atteint sans peine la vitesse nominale de la carte en transfert de masse, et le CPU est sur le chemin des données. C'est le bon réseau pour le trafic d'administration, le téléchargement de modèles, la télémétrie et le gigabit entre votre robot et votre serveur d'inférence. C'est le mauvais réseau pour des AllReduce de gradients synchrones sur 16 GPU.

Le comparatif en une table

La ligne des coûts est à lire en relatif, pas en absolu. L'écart réel sur les commutateurs est d'environ 2 à 3x par port entre un commutateur InfiniBand NDR et un commutateur Ethernet de classe IA équivalent (Spectrum-X, Tomahawk 5/6). La carte réseau, elle, est pour ainsi dire le même matériel dans les deux modes ; la différence tient aux licences et au contrat de support.

Où part la latence

N06 décompose un aller-retour RDMA microseconde par microseconde. La version condensée, pertinente pour ce comparatif :

InfiniBand l'emporte sur la latence de l'ASIC du commutateur — c'est l'écart qui ne s'est pas refermé. Les commutateurs Ethernet modernes dédiés à l'IA (Spectrum-X SN5600 / Tomahawk 5) ramènent le chiffre par saut dans la plage des 400 à 600 ns, ce qui reste assez compétitif pour que, sur une topologie leaf-spine à deux sauts, l'écart absolu soit de l'ordre de 1 µs. Cela compte pour des collectives de parallélisme tensoriel serrées. Cela ne compte pas pour des lectures de stockage ou de l'inférence par lots.

La colonne TCP classique est celle qui effraie ceux qui ne connaissent la latence que par les sockets. Le coût noyau de 10 à 30 µs par sens est par paquet ; sur une collective à petits messages comportant de nombreux aller-retours, il s'accumule vite. NCCL sur TCP fonctionne, mais c'est l'option de dernier recours.

Bande passante et réalité des cartes réseau

En 2026, la même famille de cartes couvre à la fois InfiniBand et RoCE :

L'essentiel : la ConnectX-7 que vous achetez pour IB est la même carte que celle que vous achèteriez pour RoCE. Le prix catalogue début 2026 se situe autour de 1 500 à 2 200 € pour une NDR mono-port ; la référence dédiée ne fait que préconfigurer le firmware. C'est pourquoi « passer d'IB à RoCE » ne suppose pas de racheter les cartes dans la plupart des clusters : c'est un indicateur firmware, un changement d'émetteurs-récepteurs et un changement de commutateurs.

Côté AMD, la Pensando Pollara 400 (désormais livrée avec les plateformes MI300X/MI325) est la première carte RDMA crédible hors NVIDIA avec des déploiements IA en production. Broadcom a annoncé une carte IA 800G en 2025 (génération Thor Ultra / Thor 3). Pour la première fois depuis dix ans, le marché des cartes RDMA n'est plus l'affaire d'un seul fournisseur.

Les commutateurs : c'est là qu'est l'argent

La carte réseau coûte à peu près le même prix dans tous les modes. Le commutateur, non.

Le surcoût de 2 à 3x par port pour InfiniBand est stable depuis des années. C'est un coût bien réel : un commutateur Quantum-2 NDR à 64 ports se situe entre 120 k€ et 180 k€ selon l'optique et le support ; un Spectrum-X SN5600 à 64 ports tourne autour de 60 k€ à 90 k€ ; un whitebox Tomahawk 5 générique d'un OEM taïwanais peut coûter moitié moins. Ajoutez l'optique — les émetteurs-récepteurs OSFP NDR coûtent de 600 à 1 200 € pièce en volume — et l'écart « tout compris » par port se creuse encore.

Là où il se creuse moins qu'on ne l'imagine : les AOC (câbles optiques actifs) et les DAC (cuivre à connexion directe) pour les liaisons intra-rack. Un DAC de 3 m coûte de 100 à 200 € dans l'un comme dans l'autre écosystème. La grosse facture d'optique n'apparaît qu'au-delà de 5 m environ, lorsqu'il faut des émetteurs-récepteurs SR/LR aux deux extrémités.

L'angle Spectrum-X : l'argumentaire « Ethernet pour l'IA » de NVIDIA

La réponse stratégique de NVIDIA au basculement vers Ethernet, c'est Spectrum-X : un ensemble associant le silicium de commutation Spectrum-4 (et désormais Spectrum-5), des cartes BlueField/ConnectX et un contrôle de congestion de bout en bout qu'ils appellent « routage adaptatif et équilibrage de charge fondé sur la télémétrie ». L'argument commercial est que Spectrum-X offre des performances d'AllReduce dignes d'InfiniBand sur Ethernet, validées sur de vraies charges d'entraînement IA.

Ce que montrent les mesures, celles de NVIDIA comme celles de tiers :

• Spectrum-X comble environ 80 à 90 % de l'écart de performance d'AllReduce avec InfiniBand NDR sur les charges NCCL. L'écart restant concerne les petits messages et le comportement de queue dans le pire des cas.
• Le routage adaptatif paquet par paquet (qui répartit les paquets sur plusieurs chemins et les réordonne à la réception) est la recette secrète. L'ECMP standard hache des flux entiers, ce qui crée des points chauds sur une charge IA comportant peu de flux. Spectrum-X casse l'hypothèse du hachage par flux.
• Cela ne fonctionne qu'en pile complète. Associez une carte non NVIDIA à un commutateur Spectrum et le chemin de télémétrie du routage adaptatif se rompt. C'est le compromis d'enfermement : vous quittez l'écosystème InfiniBand pour y rentrer par la porte Ethernet.

À dire honnêtement : Spectrum-X est une vraie réponse d'ingénierie à un vrai problème. Il maintient aussi NVIDIA présent à chaque couche d'un cluster IA, ce qui est précisément ce que les hyperscalers ont voulu fuir en choisissant Ethernet. Savoir si c'est le bon choix dépend de ce que valent pour vous les 10 à 20 % d'écart de performance restants face à la liberté d'intégration que vous abandonnez.

La réponse hors NVIDIA, c'est Ultra Ethernet : la spécification UEC 1.0 publiée en 2025 et portée par AMD, Broadcom, Cisco, HPE, Intel, Meta et Microsoft. Livraison multichemin, équilibrage de charge au paquet, contrôle de congestion dans le réseau, API ouverte. La Pensando Pollara et la Broadcom Thor 3 sont les premières cartes à livrer UEC. À la mi-2026, c'est la voie crédible d'un Ethernet pour l'IA multi-fournisseurs qui n'impose pas la pile NVIDIA de bout en bout.

Le contexte hyperscaler (et ce qu'il signifie pour nous autres)

L'enseignement des deux dernières années : les hyperscalers ont largement quitté InfiniBand. Meta a entraîné Llama 3 sur RoCE. Le réseau IA d'AWS est en Ethernet de bout en bout. Les pods TPU de Google ont toujours été sur mesure, mais leurs flottes de GPU sont sur Ethernet. Microsoft Azure fait un mélange et investit massivement dans Ethernet sur ses nouvelles constructions. Environ 70 % des nouveaux déploiements d'infrastructure IA début 2026 ont choisi Ethernet plutôt qu'InfiniBand, selon les publications de résultats de Broadcom — un renversement par rapport aux quelque 80 % de part InfiniBand en 2023.

La conclusion publiée par Meta était sans ambiguïté : correctement réglés, RoCEv2 et InfiniBand offrent des performances d'entraînement équivalentes sur leurs charges de travail. Le basculement ne tient pas à la performance brute : il tient à qui possède le silicium, à qui recrute les SRE, à la façon dont les pièces sont approvisionnées et à l'intégration du modèle opérationnel avec le reste du centre de données.

Trois points comptent pour nous autres, qui ne faisons pas tourner des réseaux d'entraînement à 10 000 GPU :

1. La question « Ethernet peut-il faire de l'IA ? » est tranchée. Oui. RoCEv2 avec du silicium de commutation IA moderne et un contrôle de congestion correct est de qualité production. Les hyperscalers l'ont prouvé. Vous n'avez plus à défendre ce choix dans un appel d'offres.
2. L'expertise opérationnelle a suivi le silicium. Il y a cinq ans, votre pays comptait trois personnes capables de monter un réseau InfiniBand et une seule capable de régler correctement PFC/DCQCN sur RoCE. Aujourd'hui, les compétences RoCE sont bien plus répandues, tandis que celles sur InfiniBand sont concentrées dans les laboratoires HPC et chez les partenaires NVIDIA. Planifiez vos recrutements en conséquence.
3. L'histoire de l'enfermement fournisseur s'est inversée. InfiniBand a toujours été mono-fournisseur (NVIDIA, anciennement Mellanox). Ethernet était l'alternative ouverte — jusqu'à ce que Spectrum-X y apporte aussi l'argumentaire du tout-NVIDIA. La réponse réellement neutre en 2026, c'est RoCE de classe UEC avec du silicium Broadcom ou AMD.

Quand InfiniBand est le bon choix

InfiniBand est la bonne réponse lorsque la plupart de ces conditions sont réunies :

• Cluster d'entraînement dédié, 16 nœuds ou plus, exécutant des AllReduce de gradients synchrones à un rythme soutenu. L'avantage de latence sur les petites collectives se cumule sur des milliers d'itérations.
• Vous achetez de toute façon des systèmes NVIDIA HGX ou DGX. Ces cartes de base sont conçues autour de NDR/XDR. Greffer de l'Ethernet sur un nœud DGX est opérationnellement bancal.
• Vous avez l'expertise en interne : quelqu'un qui connaît le gestionnaire de sous-réseau, sait lire une sortie ibtracert et est à l'aise avec l'outil UFM de NVIDIA.
• Le budget absorbe un surcoût de 2 à 3x par port sur les commutateurs sans casser l'économie du cluster.
• Le cluster est la raison d'être du bâtiment. Un déploiement HPC/IA pur, sans locataires de stockage partagé ni trafic applicatif : InfiniBand simplifie alors le modèle opérationnel, car il n'y a aucun débat sur la QoS.

Si trois de ces cinq points décrivent votre projet, InfiniBand mérite son prix. Si un seul s'applique, vous payez un réseau optimisé pour le problème de quelqu'un d'autre.

Quand RoCEv2 est le choix pragmatique

RoCE est la bonne réponse pour la plus grande partie de la clientèle de Kentino :

• 4 à 16 nœuds, charge de travail mixte, entraînement, inférence et stockage sur le même réseau.
• Budget contraint mais RDMA indispensable. Le cluster fait assez d'entraînement multi-nœuds ou d'inférence distribuée pour que la taxe de la pile noyau en TCP classique soit inacceptable, mais le surcoût d'un commutateur InfiniBand l'est tout autant.
• Réseau partagé avec du trafic non IA. L'exploitation, le stockage et l'accès des développeurs passent tous par la même infrastructure Ethernet. RoCE cohabite avec cela ; InfiniBand exige sa propre couche physique.
• Vous voulez garder le choix des fournisseurs. Mélanger des commutateurs Broadcom, des cartes NVIDIA et des nœuds AMD MI300 : l'écosystème Ethernet le permet, celui d'InfiniBand non.
• L'équipe a déjà une vraie profondeur opérationnelle en Ethernet. Régler PFC/ECN est un travail réel, mais sur un socle que tout le monde connaît déjà. Le « SM » que vous avez en tête, c'est le plan de contrôle L2/L3 que vous exploitez depuis des années.

Le piège à signaler : RoCEv2 mal configuré est pire que du TCP classique. Des tempêtes de pauses PFC sur un réseau non segmenté peuvent faire tomber le plan d'administration. Des seuils ECN mal réglés produisent un réseau qui paraît sain sur un perftest mais s'effondre dès qu'un AllReduce réel provoque de l'incast. Comme le rappelle N08, c'est l'avertissement « déployer une configuration PFC à la main sur un whitebox générique, c'est un projet à part entière ». Achetez chez un fournisseur disposant de modèles RoCE validés (NVIDIA Spectrum-X, Arista, Cisco Nexus 9000 avec le profil de service AI fabric), ou faites appel à quelqu'un qui l'a déjà fait.

Quand l'Ethernet TCP/IP classique suffit

L'Ethernet classique — pas de RDMA, pas de PFC, pas de réglage DCQCN, juste des sockets et la pile noyau — est la bonne réponse bien plus souvent qu'on ne veut l'admettre :

• Serveur mono-nœud à 4 ou 8 GPU. Le trafic inter-GPU reste sur le PCIe ou le NVLink interne au châssis. Le réseau ne sert qu'à acheminer les données d'entraînement, à sortir les poids du modèle et à faire circuler la télémétrie. Du 25 GbE ou un lien 100 GbE suffit.
• Clusters d'inférence à faible coordination entre nœuds. La latence par requête est dominée par le calcul GPU ; 10 µs de réseau, c'est du bruit.
• Laboratoire polyvalent, établi de robotique, environnement de développement. Le cluster ne fait pas d'entraînement synchrone soutenu. Le RDMA est surdimensionné.
• Installations de robotique en edge IA telles que décrites dans I01 — le robot dialogue avec un seul serveur d'inférence, le budget de latence se compte en centaines de millisecondes, le réseau est invisible.

La réponse honnête pour l'essentiel de la clientèle de Kentino : si vous achetez un seul K-AI 256 Turin Dual avec 8 RTX 5090, vous n'avez besoin ni d'InfiniBand ni même de RoCE. Deux liens 100 GbE vers un commutateur de centre de données standard, trames jumbo activées, réglages noyau par défaut : voilà la bonne réponse, et elle coûte cinq chiffres de moins que l'alternative.

L'avis honnête de Kentino

Nous vendons à des clients qui construisent des clusters de 1 à 8 nœuds avec des GPU grand public et de station de travail (5090, 4090, RTX Pro 6000 Blackwell). Ni le marché hyperscale, ni le marché HPC. Pour ce périmètre :

• Machine mono-nœud à 8 GPU : du 25/100 GbE classique. Point. Pas de RDMA, pas de taxe réseau. La bande passante intéressante est à l'intérieur du châssis, sur le PCIe Gen5 ; le lien externe sert à l'ingestion de données et à l'administration.
• Cluster de 2 à 4 nœuds avec entraînement distribué occasionnel : RoCEv2 sur 100 GbE, avec un modèle de configuration IA validé par le fournisseur du commutateur. Spectrum-X si vous voulez la voie validée NVIDIA ; Tomahawk 5 / Arista si vous voulez la voie multi-fournisseurs. Prévoyez deux semaines pour une mise en service propre de PFC/ECN et la validation par nccl-tests.
• Cluster d'entraînement soutenu de 4 à 8 nœuds : RoCEv2 sur 200 ou 400 GbE, avec un plan d'administration entièrement séparé. C'est le point idéal de la courbe de coût par port ; à cette échelle, l'écart avec IB ne justifie pas le surcoût du commutateur, sauf charge exceptionnellement sensible à la latence.
• Au-delà de 8 nœuds, avec de l'entraînement soutenu gourmand en AllReduce : InfiniBand commence à mériter l'examen. Pas automatiquement — mesurez. Mais à cette taille, la simplicité opérationnelle d'un réseau sans perte, où le SM gère le routage et où NCCL fonctionne tout seul, vaut de l'argent bien réel.
• Tout ce qui relève vraiment de l'échelle DGX : ce n'est pas nous. Achetez du HGX et acceptez l'offre groupée InfiniBand.

---

Cet article fait partie du Kentino Wiki, une série de référence sur le calcul IA et les systèmes qui le relient. Corrections bienvenues à info@kentino.com.