Ethernet para IA: fundamentos de 25/100/400 GbE

Ethernet es el fabric por defecto de cualquier clúster de IA construido fuera de un hiperescalador. No siempre es la opción más rápida sobre el papel —N02 defenderá InfiniBand allí donde de verdad gana—, pero es la opción que existe en todas partes, funciona con cualquier herramienta adyacente, cuesta menos por gigabit y no le ata a nada.

Para clústeres del nivel Kentino —servidores de inferencia de un solo nodo, rigs de entrenamiento de 2 a 8 nodos, pequeños laboratorios de investigación— Ethernet es casi siempre la respuesta correcta. Las preguntas interesantes son otras: qué nivel de velocidad, qué NIC, cobre o fibra y cuánto cuesta realmente cada salto. Este artículo las responde, con honestidad y con cifras de precios de mediados de 2026.

Si va a desplegar un único equipo de 4 u 8 GPU para inferencia y nada más, puede saltar directamente a la tabla de costes del final y dejarlo ahí. El resto del artículo es para quien planifica varios nodos.

Por qué Ethernet gana por defecto

Tres razones, por orden de peso real en la decisión:

1. Ecosistema. Todos los servidores, switches, cabinas de almacenamiento y orquestadores hablan Ethernet. Los drivers vienen en el kernel. Las herramientas de monitorización lo dan por supuesto. El primer día de una nueva incorporación no empieza con «déjame explicarte InfiniBand».
2. Coste por gigabit. Un puerto de switch de 100 GbE cuesta aproximadamente una cuarta parte que un InfiniBand HDR comparable. Los DAC y los transceptores son productos de catálogo. El suministro de NIC es multimarca —NVIDIA, Broadcom, Intel—, lo que mantiene los precios ajustados. InfiniBand depende de un único fabricante.
3. Sin bloqueo de fabric. Ethernet es un transporte. Los switches modernos gestionan TCP, RoCE, NVMe-oF y el tráfico del plano de gestión sobre el mismo cable con una QoS sensata. InfiniBand ata el fabric a la hoja de ruta de NVIDIA.

A cambio, Ethernet para IA exige más ajuste para alcanzar el mismo comportamiento a velocidad de cable que InfiniBand ofrece de serie. RoCEv2, PFC, ECN, DCQCN: todo configurable en Ethernet, todo preconfigurado en IB. N02 y N08 cubren esa batalla.

Niveles de velocidad y cuándo tiene sentido cada uno

El mayor error individual en los presupuestos del nivel Kentino es sobredimensionar el enlace. Un switch de 400 GbE bajo un equipo de inferencia de 8 GPU es dinero tirado. Un enlace de 10 GbE entre dos nodos de entrenamiento es tiempo de GPU tirado. El mapa de abajo es el que importa.

Tres ideas que conviene interiorizar:

• 25 GbE no es para el fabric de IA. Es para todo lo que lo rodea: administración, telemetría, el enlace al servidor de almacenamiento cuando este no está en el mismo fabric RDMA. Llamar a 25 GbE «el nivel de IA» delata que el proveedor no conoce la carga de trabajo.
• 100 GbE es la base honesta para multinodo. Por debajo, la sincronización de gradientes se atasca en cada iteración. Por encima, la pregunta es si sus GPU generan datos lo bastante rápido como para saturar el cable. Para sistemas de un solo nodo con 5090 / RTX Pro 6000 Blackwell haciendo trabajo de clase fine-tuning, 100 GbE suele bastar.
• 400 GbE solo se amortiza en entrenamiento multirack real. Dos nodos de 8 GPU haciendo fine-tuning de 70B no lo necesitan. Dieciséis nodos haciendo preentrenamiento sobre texto tokenizado, sí.

800 GbE existe, el silicio ya se envía (ConnectX-8, Thor Ultra), pero hoy por hoy es una historia de hiperescaladores y despliegues de clase B200. Se menciona por completitud; es poco probable que lo especifique en una configuración Kentino en 2026.

Familias de NIC que realmente se envían

El mercado de NIC en 2026 lo domina la línea ConnectX de NVIDIA, con Broadcom e Intel cubriendo el resto. Marvell, AMD/Pensando y un puñado de Broadcom remarcados por OEM existen, pero rara vez aparecen en las listas de materiales de Kentino.

Las elecciones honestas para trabajo del nivel Kentino:

• Intel E810-CQDA2 cuando el cliente quiere 100 GbE con presupuesto ajustado y acepta que ajustar RoCE da más trabajo que en Mellanox. Alrededor de €700–€900 en el mercado.
• ConnectX-6 Dx para cualquier enlace de 100 GbE que deba ejecutar RoCE de forma fiable. €1100–€1500 de sobrecoste. La respuesta en el 90% de los casos.
• ConnectX-7 cuando la plataforma es PCIe Gen 5 y 200 o 400 GbE se justifican por entrenamiento multinodo real. La tarjeta OSFP NDR400 de un solo puerto ronda los €1650 en el mercado y conmuta entre IB y Ethernet por firmware, algo útil si más adelante quisiera migrar de fabric.
• BlueField-3 y ConnectX-8 existen; si está especificándolas, no está leyendo este artículo.

PCIe es el techo silencioso. Una NIC de 100 GbE en una ranura Gen 3 x8 negocia a la velocidad del enlace y funciona a la mitad. La regla:

En las plataformas EPYC de 8 GPU de Kentino, las GPU se comen casi todas las ranuras Gen 4/5 x16; en algunas configuraciones la NIC acaba en una Gen 4 x8. Eso vale para un puerto de 100 GbE y es justo para dos. Verifíquelo antes de presupuestar. W02 (líneas PCIe & topología) es la versión en profundidad de esta historia.

Las opciones metálicas y ópticas: DAC, AOC, ópticas

Tres formas de materializar un enlace, separadas por un orden de magnitud de coste. Los compradores gastan mucho dinero en ópticas donde el DAC habría bastado.

Reglas que se cumplen con cualquier fabricante:

• DAC dentro de un mismo rack. El cobre pasivo a 100GBASE-CR4 es fiable hasta 3 m y está especificado hasta 5 m con variantes activas. A 400G (100G PAM4 por carril) el límite práctico son 2 m en pasivo: existen DAC de 3 m, pero la integridad de señal se vuelve frágil con las curvas del cable.
• AOC para tiradas de 5–30 m, sobre todo entre racks contiguos. El transceptor va soldado a la fibra, así que un extremo defectuoso obliga a tirar el cable entero.
• Ópticas SR + MMF para tiradas en sala de más de 30 m o donde ya exista cableado estructurado. OM5 aporta ~50% más de alcance que OM4 a 100 GbE SR y es lo que debería tender hoy en instalaciones nuevas.
• Ópticas LR + SMF para cruzar edificios o salas. Excesivo dentro de un único clúster de 4 racks.

Cálculo de longitud de cable para un clúster de 4 racks. Una fila de cuatro racks de 42U, cada uno de ~600 mm de ancho con ~100 mm de separación entre racks. Del switch top-of-rack situado en lo alto del rack 1 a una NIC en la parte baja del rack 4: ~2.1 m en horizontal + ~2 m en vertical = una tirada de ~4 m con holgura. A 100 GbE está en el límite del DAC; a 400 GbE ya lo ha superado. Para cualquier clúster de más de ~2 racks a 400 GbE, planifique AOC u ópticas. Este es el error de especificación más habitual en presupuestos multirack: dar por hecho que el DAC llegará porque «los racks están justo al lado».

Enlace de 100 GbE de extremo a extremo, salto de 2 m dentro del rack, mediados de 2026: par de ConnectX-6 Dx ~€2400 + dos puertos de switch amortizados ~€1500 + DAC QSFP28 de 2 m ~€90 = ~€4000 por enlace. El mismo enlace a 400 GbE (par de ConnectX-7, puertos de switch de 400 GbE, DAC QSFP-DD de 2 m) sale por unos €14k: 4× de ancho de banda por ~3.5× de coste. La economía es razonable; la pregunta es si la carga de trabajo lo necesita.

Panorama de switches

El mercado de switches Ethernet para IA de 2026 se ordena en tres grupos evidentes.

Dos decisiones con opinión:

• Para clústeres de entrenamiento de 4 a 8 nodos a 100 o 400 GbE, un único Spectrum-X SN5600 o Arista 7060X4 es la respuesta correcta. Un switch, un dominio de fallo, sin Clos, con plantillas RoCE suministradas por el fabricante. El SN5600 ofrece 64×800 GbE en 2U con 51.2 Tb/s agregados y búferes profundos afinados para IA; el 7060X4 da 32×400 GbE en 1U con ~700 ns de latencia cut-through por bastante menos dinero cuando no necesita 800 GbE.
• Para 16 nodos o más, planifique un Clos L3 enrutado con dos spines, BGP unnumbered entre leaves y spines y ECMP a través de los spines. N08 cubre la mecánica de los enlaces ascendentes; N04 cubre la elección de topología.

MTU y tramas jumbo

La MTU Ethernet por defecto es de 1500 bytes. A 100 GbE eso son ~8.3 millones de paquetes por segundo y flujo, cada uno pagando el coste por paquete del kernel. Una MTU de 9000 reduce la tasa de paquetes en 6×, baja la carga de CPU en la misma proporción y es prácticamente obligatoria en cualquier fabric de IA.

En el caso concreto de RoCEv2, la MTU al estilo IB se elige como el mayor tamaño que cabe dentro de la MTU Ethernet. Una Ethernet de 9000 bytes le da a RoCE una MTU de 4096 bytes, el valor que esperan todas las pilas NCCL y RDMA. Si se queda en 1500, obtiene una MTU RoCE de 2048 bytes y una pérdida de rendimiento apreciable en cada colectivo.

Tres cosas que debe saber:

• Debe coincidir de extremo a extremo. Un único dispositivo con MTU 1500 en la ruta fragmenta en silencio y hunde el rendimiento. Configúrelo en cada NIC, cada puerto de switch y cada salto de router de la VLAN de IA.
• Mantenga las jumbo confinadas a la VLAN de IA. Su red corporativa no va a funcionar bien con MTU 9000. El plano de gestión se queda en 1500.
• Verifíquelo con ip link y tracepath, no confiando en la configuración. Da vergüenza la cantidad de clústeres en los que alguien puso 9000 en las NIC y se olvidó de los puertos del switch.

Ethernet con pérdidas frente a sin pérdidas: anticipo

TCP/IP sobre Ethernet a secas es con pérdidas: los switches descartan paquetes cuando se llenan las colas, TCP retransmite y el rendimiento cae. Bien para tráfico web en streaming, fatal para RDMA: la pérdida de un solo paquete en un allreduce RoCE arruina la transferencia entera y obliga a NCCL a agotar el tiempo de espera.

La solución es la Ethernet sin pérdidas, lograda con dos mecanismos que trabajan juntos:

• PFC (Priority Flow Control, 802.1Qbb): pausa por prioridad. Cuando el búfer del switch para la prioridad 3 (la prioridad RDMA por convención) se llena, envía una trama de pausa al puerto aguas arriba. Freno de emergencia a corto plazo.
• ECN (Explicit Congestion Notification): los switches marcan los paquetes de las colas que se están llenando, el receptor devuelve un CNP y el emisor reduce el ritmo. Control de congestión a largo plazo.

Juntos forman DCQCN —Data Center Quantized Congestion Notification—, que es el bucle de control RoCEv2 estándar en los fabrics Ethernet de IA modernos. ECN hace el trabajo la mayor parte del tiempo; PFC solo actúa cuando ECN no reacciona lo bastante rápido.

La conclusión para este artículo: si va a ejecutar RoCE, su switch debe soportar PFC y ECN en la prioridad RDMA, y su NIC debe estar configurada para marcarlos y respetarlos. Comprar un switch a un fabricante con plantillas RoCE documentadas (NVIDIA Spectrum, Arista, Cisco Nexus 9000) le ahorra una semana de configuración. N02 cubre la comparación con InfiniBand; N07 profundiza en el lado del control de congestión.

Profundidad de búfer: superficial frente a profundo

El otro eje en los switches de IA es la profundidad de búfer. AllReduce es muchos-a-uno en cada iteración: todos los nodos del anillo o del árbol convergen en un mismo nodo en el mismo instante. Eso es incast, y machaca a los switches con búfer superficial.

• Switches con búfer superficial (Tomahawk antiguos, equipo empresarial genérico) tienen entre 4 y 32 MB de búfer en total. Baratos, de baja latencia, correctos para tráfico este-oeste en una red corporativa. Descartan paquetes la primera vez que llega el incast.
• Switches de IA con búfer profundo (Jericho3-AI, Spectrum-X, algunas tarjetas de línea del 7800R3) tienen de cientos de MB a varios GB de búfer. Absorben la ráfaga de incast y retienen los paquetes mientras DCQCN frena a los emisores.

Para un clúster de 2 nodos, la profundidad de búfer es irrelevante. Para 8 o más nodos haciendo allreduce denso, los búferes profundos marcan la diferencia entre un fabric sano y otro que pierde pausas PFC y se atasca. Esta es una razón real para comprar switches de clase IA en lugar de genéricos.

Opinión honesta: ¿aplica esto a su configuración?

Un servidor Kentino K-AI de un solo nodo haciendo inferencia o fine-tuning en un nodo no necesita nada de esto. Las GPU se comunican por PCIe y NVLink; el enlace Ethernet sirve para que entren los prompts, salgan los tokens y se lean los datasets. Un par de puertos SFP28 de 25 GbE en la NIC integrada del host es suficiente.

Está leyendo esto porque planifica dos nodos o más. La matriz:

• 1 nodo: 10 o 25 GbE integrados. Sin ampliación.
• 2–4 nodos, fine-tuning: 100 GbE con ConnectX-6 Dx, un switch, RoCE configurado. ~€4k por enlace.
• 4–8 nodos, entrenamiento de 70B+: 100 o 200 GbE con ConnectX-7 si hay PCIe Gen 5 disponible. Un único switch Spectrum-X SN5600 o Arista 7060X4.
• 8–16 nodos, entrenamiento denso: 200 o 400 GbE, Clos L3 enrutado con dos spines, switches de búfer profundo.
• 16+ nodos: más allá del catálogo habitual de Kentino. Use la arquitectura de referencia de NVIDIA (Spectrum-X, BlueField-3 o ConnectX-8) y un consultor.

---

Esto forma parte de la Kentino Wiki, una serie de referencia sobre computación de IA, robótica y los sistemas que las conectan. Comentarios y correcciones son bienvenidos en info@kentino.com.