Ethernet pour l'IA : les bases du 25/100/400 GbE

Ethernet est le réseau par défaut de tout cluster IA construit en dehors d'un hyperscaler. Ce n'est pas toujours l'option la plus rapide sur le papier — N02 plaidera pour InfiniBand là où il l'emporte vraiment — mais c'est celle qui existe partout, qui fait tourner tous les outils voisins, qui coûte le moins cher au gigabit et qui ne vous enferme nulle part.

Pour des clusters de gabarit Kentino — serveurs d'inférence mononœud, rigs d'entraînement de 2 à 8 nœuds, petits laboratoires de recherche — Ethernet est pour ainsi dire toujours la bonne réponse. Les vraies questions sont : quel palier de débit, quelle carte réseau, cuivre ou fibre, et ce que coûte réellement chaque palier supplémentaire. Cet article y répond, honnêtement, avec des tarifs de mi-2026.

Si vous déployez une seule machine à 4 ou 8 GPU pour de l'inférence et rien d'autre, vous pouvez sauter directement au tableau de coûts en bas de page et vous arrêter là. Le reste de cet article s'adresse à ceux qui planifient du multinœud.

Pourquoi Ethernet s'impose par défaut

Trois raisons, par ordre de poids réel dans la décision :

1. L'écosystème. Chaque serveur, switch, baie de stockage et orchestrateur parle Ethernet. Les pilotes sont dans le noyau. Les outils de supervision le présupposent. Le premier jour d'un nouvel arrivant ne commence pas par « laissez-moi vous expliquer InfiniBand ».
2. Le coût au gigabit. Un port de switch 100 GbE coûte environ le quart d'un équivalent HDR InfiniBand. Les DAC et les transceivers sont des produits de masse. L'offre de cartes réseau est multi-fournisseurs — NVIDIA, Broadcom, Intel — ce qui maintient les prix honnêtes. InfiniBand est mono-fournisseur.
3. Aucun verrouillage sur le réseau. Ethernet n'est qu'un transport. Les switches modernes gèrent TCP, RoCE, NVMe-oF et le trafic du plan de gestion sur le même câble avec une QoS saine. InfiniBand engage le réseau sur la feuille de route de NVIDIA.

En contrepartie, Ethernet pour l'IA demande davantage de réglages pour atteindre le comportement à la vitesse du câble qu'InfiniBand offre d'emblée. RoCEv2, PFC, ECN, DCQCN — tout cela se configure sur Ethernet et arrive préconfiguré sur IB. N02 et N08 couvrent ce combat.

Les paliers de débit et quand chacun a du sens

La plus grosse erreur sur les devis de gabarit Kentino est de surdimensionner le lien. Un switch 400 GbE sous une machine d'inférence à 8 GPU, c'est de l'argent jeté. Un lien 10 GbE entre deux nœuds d'entraînement, c'est du temps GPU jeté. La carte ci-dessous est celle qui compte.

Trois points à intégrer :

• Le 25 GbE n'est pas fait pour le réseau IA. Il est fait pour tout ce qui l'entoure — administration, télémétrie, lien vers le serveur de stockage quand celui-ci n'est pas sur le même réseau RDMA. Présenter le 25 GbE comme « le palier IA » trahit un fournisseur qui ne connaît pas la charge de travail.
• Le 100 GbE est la base honnête du multinœud. En dessous, la synchronisation des gradients bloque à chaque itération. Au-dessus, la question devient de savoir si vos GPU produisent des données assez vite pour saturer le câble. Pour des systèmes mononœuds à base de 5090 / RTX Pro 6000 Blackwell faisant du fine-tuning, le 100 GbE suffit généralement.
• Le 400 GbE ne se rentabilise que sur du véritable entraînement multi-racks. Deux nœuds à 8 GPU qui affinent un modèle 70B n'en ont pas besoin. Seize nœuds qui pré-entraînent sur du texte tokenisé, si.

Le 800 GbE existe, le silicium est livré (ConnectX-8, Thor Ultra), mais c'est aujourd'hui une histoire d'hyperscalers et de déploiements de classe B200. Mentionné pour être complet ; il est peu probable que vous le spécifiiez sur une configuration Kentino en 2026.

Les familles de cartes réseau réellement disponibles

Le marché des cartes réseau en 2026 est dominé par la gamme ConnectX de NVIDIA, Broadcom et Intel se partageant le reste. Marvell, AMD/Pensando et une poignée de Broadcom rebadgés par des OEM existent, mais apparaissent rarement sur les nomenclatures Kentino.

Les choix honnêtes pour du travail de gabarit Kentino :

• Intel E810-CQDA2 quand le client veut du 100 GbE à petit budget et accepte que le réglage RoCE demande plus de travail que sur Mellanox. Environ 700 à 900 € en prix de rue.
• ConnectX-6 Dx pour tout lien 100 GbE devant faire tourner RoCE de façon fiable. 1100 à 1500 € en supplément. La réponse dans 90 % des cas.
• ConnectX-7 quand la plateforme est en PCIe Gen 5 et que 200 ou 400 GbE se justifient par un véritable entraînement multinœud. La carte NDR400 OSFP monoport tourne autour de 1650 € en prix de rue et bascule entre IB et Ethernet par firmware — utile si vous envisagez de changer de réseau plus tard.
• BlueField-3 et ConnectX-8 existent ; si vous les spécifiez, vous n'êtes pas en train de lire cet article.

Le PCIe est le plafond silencieux. Une carte 100 GbE dans un slot Gen 3 x8 s'entraîne au débit nominal et tourne à moitié vitesse. La règle :

Sur les plateformes EPYC à 8 GPU de Kentino, les GPU occupent la plupart des slots x16 Gen 4/5 ; la carte réseau se retrouve dans un Gen 4 x8 sur certaines configurations. C'est acceptable pour un port 100 GbE, limite pour deux. Vérifiez avant de chiffrer. W02 (lignes PCIe & topologie) est la version approfondie de cette histoire.

Les options métalliques et optiques — DAC, AOC, optiques

Trois façons de matérialiser un lien, séparées par un ordre de grandeur en coût. Les acheteurs gaspillent beaucoup d'argent en optiques là où du DAC aurait suffi.

Des règles valables chez tous les fournisseurs :

• Du DAC à l'intérieur d'un même rack. Le cuivre passif en 100GBASE-CR4 est fiable jusqu'à 3 m, spécifié jusqu'à 5 m avec les variantes actives. En 400G (100G PAM4 par voie), la limite pratique est de 2 m en passif — des DAC de 3 m existent, mais l'intégrité du signal devient fragile dès que le câble est cintré.
• De l'AOC pour les liaisons de 5 à 30 m, en particulier entre racks adjacents. Le transceiver est solidaire de la fibre : une extrémité défectueuse condamne tout le câble.
• Des optiques SR + MMF pour les liaisons en salle au-delà de 30 m ou là où un câblage structuré existe déjà. L'OM5 gagne environ 50 % de portée sur l'OM4 en 100 GbE SR, et c'est ce qu'il faut tirer aujourd'hui sur une nouvelle installation.
• Des optiques LR + SMF pour traverser des bâtiments ou des salles. Surdimensionné à l'intérieur d'un seul cluster de 4 racks.

Calcul de longueur de câble pour un cluster de 4 racks. Une rangée de quatre racks 42U, chacun d'environ 600 mm de large avec environ 100 mm d'écart entre racks. Du switch en haut de rack, placé au sommet du rack 1, jusqu'à une carte réseau en bas du rack 4 : ~2.1 m à l'horizontale + ~2 m à la verticale = environ 4 m de câble avec le mou. En 100 GbE, vous êtes à la limite du DAC ; en 400 GbE, vous l'avez dépassée. Pour tout cluster plus large que ~2 racks en 400 GbE, prévoyez de l'AOC ou des optiques. C'est l'erreur de spécification la plus fréquente sur les devis multi-racks — supposer que le DAC atteindra sa cible parce que « les racks sont juste à côté ».

Un lien 100 GbE de bout en bout, saut intra-rack de 2 m, mi-2026 : paire de ConnectX-6 Dx ~2400 € + deux ports de switch amortis ~1500 € + DAC QSFP28 de 2 m ~90 € = ~4000 € par lien. Le même lien en 400 GbE (paire de ConnectX-7, ports de switch 400 GbE, DAC QSFP-DD de 2 m) revient à environ 14 k€ — 4× la bande passante pour ~3.5× le prix. L'économie se tient ; la question est de savoir si la charge de travail en a besoin.

Le paysage des switches

Le marché des switches Ethernet pour l'IA en 2026 se range en trois catégories évidentes.

Deux partis pris assumés :

• Pour des clusters d'entraînement de 4 à 8 nœuds en 100 ou 400 GbE, un seul Spectrum-X SN5600 ou Arista 7060X4 est la bonne réponse. Un switch, un domaine de panne, pas de Clos, des modèles RoCE fournis par le constructeur. Le SN5600, c'est 64×800 GbE en 2U avec 51.2 Tb/s d'agrégat et des buffers profonds taillés pour l'IA ; le 7060X4 offre 32×400 GbE en 1U à environ 700 ns de latence cut-through, pour nettement moins cher quand le 800 GbE n'est pas nécessaire.
• Pour 16 nœuds et plus, prévoyez un Clos L3 routé avec deux spines, du BGP unnumbered entre leaves et spines, et de l'ECMP sur les spines. N08 couvre la mécanique des liens montants ; N04 couvre le choix de topologie.

MTU et trames jumbo

La MTU Ethernet par défaut est de 1500 octets. En 100 GbE, cela représente ~8.3 millions de paquets par seconde et par flux, chacun payant le coût noyau par paquet. Une MTU de 9000 divise le débit de paquets par 6, réduit d'autant la charge CPU et est pour ainsi dire obligatoire sur tout réseau IA.

Pour RoCEv2 en particulier, la MTU de type IB est choisie comme la plus grande taille tenant dans la MTU Ethernet. Une MTU Ethernet de 9000 octets donne à RoCE une MTU de 4096 octets — la valeur qu'attendent toutes les piles NCCL et RDMA. Restez à 1500 et vous obtenez une MTU RoCE de 2048 octets, avec une perte de performance sensible sur chaque collective.

Trois choses à savoir :

• Elle doit correspondre de bout en bout. Un seul équipement en MTU 1500 sur le trajet fragmente en silence et effondre le débit. Réglez-la sur chaque carte réseau, chaque port de switch et chaque saut routé du VLAN IA.
• Cantonnez le jumbo au VLAN IA. Votre réseau d'entreprise ne fonctionnera pas proprement en MTU 9000. Le plan de gestion reste à 1500.
• Vérifiez avec ip link et tracepath, et non en faisant confiance à la configuration. Le nombre de clusters où quelqu'un a réglé 9000 sur les cartes réseau en oubliant les ports de switch est gênant.

Ethernet avec ou sans perte — un aperçu

Le TCP/IP classique sur Ethernet est avec perte : les switches jettent des paquets quand les files se remplissent, TCP retransmet, le débit recule. Parfait pour du trafic web en flux continu, fatal pour RDMA — la perte d'un seul paquet dans un allreduce RoCE tue tout le transfert et provoque un timeout de NCCL.

La solution est l'Ethernet sans perte, obtenu par deux mécanismes qui travaillent ensemble :

• PFC (Priority Flow Control, 802.1Qbb) — une pause par priorité. Quand le buffer du switch pour la priorité 3 (la priorité RDMA par convention) se remplit, il envoie une trame de pause au port amont. Un frein d'urgence à court terme.
• ECN (Explicit Congestion Notification) — les switches marquent les paquets dans les files qui se remplissent, le récepteur renvoie un CNP, l'émetteur ralentit. Un contrôle de congestion à long terme.

Ensemble, ils forment DCQCN — Data Center Quantized Congestion Notification — la boucle de contrôle RoCEv2 standard sur les réseaux Ethernet IA modernes. ECN fait le travail la plupart du temps, PFC ne se déclenche que lorsque ECN ne réagit pas assez vite.

Ce qu'il faut retenir ici : si vous faites tourner RoCE, votre switch doit prendre en charge PFC et ECN sur la priorité RDMA, et votre carte réseau doit être configurée pour les marquer et les respecter. Acheter un switch chez un fournisseur proposant des modèles RoCE documentés (NVIDIA Spectrum, Arista, Cisco Nexus 9000) vous épargne une semaine de configuration. N02 traite de la comparaison avec InfiniBand ; N07 approfondit le volet contrôle de congestion.

Profondeur de buffer — faible ou élevée

L'autre axe des switches IA est la profondeur de buffer. L'allreduce est du « plusieurs vers un » à chaque itération — tous les nœuds de l'anneau ou de l'arbre convergent vers un même nœud au même instant. C'est l'incast, et il écrase les switches à buffers faibles.

• Les switches à buffers faibles (anciens Tomahawk, matériel d'entreprise générique) disposent de 4 à 32 MB de buffer au total. Bon marché, à faible latence, parfaits pour du trafic est-ouest sur un réseau d'entreprise. Ils jettent des paquets dès le premier incast.
• Les switches IA à buffers profonds (Jericho3-AI, Spectrum-X, certaines cartes de ligne 7800R3) disposent de plusieurs centaines de MB à plusieurs GB de buffer. Ils absorbent la rafale d'incast et retiennent les paquets le temps que DCQCN fasse ralentir les émetteurs.

Pour un cluster de 2 nœuds, la profondeur de buffer n'a aucune importance. Pour 8 nœuds et plus en allreduce dense, les buffers profonds font la différence entre un réseau sain et un réseau qui perd des pauses PFC et se bloque. C'est une vraie raison d'acheter des switches de classe IA plutôt que des modèles génériques.

Pour être honnête — est-ce que cela concerne votre configuration ?

Un serveur Kentino K-AI mononœud qui fait de l'inférence ou du fine-tuning mononœud n'a besoin de rien de tout cela. Les GPU dialoguent en PCIe et NVLink ; le lien Ethernet sert à faire entrer les prompts, sortir les tokens et lire les jeux de données. Deux ports SFP28 25 GbE sur la carte réseau intégrée de l'hôte suffisent.

Si vous lisez ceci, c'est que vous planifiez deux nœuds ou plus. La matrice :

• 1 nœud : 10 ou 25 GbE intégré. Pas de mise à niveau.
• 2 à 4 nœuds, fine-tuning : 100 GbE via ConnectX-6 Dx, un switch, RoCE configuré. ~4 k€ par lien.
• 4 à 8 nœuds, entraînement 70B et plus : 100 ou 200 GbE avec ConnectX-7 si le PCIe Gen 5 est disponible. Un seul switch Spectrum-X SN5600 ou Arista 7060X4.
• 8 à 16 nœuds, entraînement dense : 200 ou 400 GbE, Clos L3 routé avec deux spines, switches à buffers profonds.
• 16 nœuds et plus : au-delà de la gamme habituelle de Kentino. Appuyez-vous sur l'architecture de référence NVIDIA (Spectrum-X, BlueField-3 ou ConnectX-8) et sur un consultant.

---

Cet article fait partie du Kentino Wiki, une série de référence sur le calcul IA, la robotique et les systèmes qui les relient. Commentaires et corrections bienvenus à info@kentino.com.