InfiniBand vs RoCE vs Ethernet puro: elegir la fabric en 2026

En toda petición de oferta para un clúster de IA multinodo aparecen tres opciones de transporte: InfiniBand, RoCE y Ethernet TCP/IP convencional. No son tres puntos de una misma recta, sino tres filosofías de ingeniería distintas —un fabric HPC sin pérdidas por diseño, una Ethernet ajustada para no perder paquetes y la pila de red cotidiana que utiliza el resto de la informática— con curvas de coste diferentes, huellas operativas diferentes y respuestas correctas muy distintas según lo que esté construyendo realmente.

Este artículo repasa qué es cada una, adónde van realmente la latencia y el dinero en 2026 y dónde está la frontera entre «necesitamos RDMA» y «necesitamos RDMA y, en concreto, InfiniBand». Terminamos con una matriz de decisión directa.

Para quién: para quien esté dimensionando un clúster de IA de 2 a 32 nodos y trate de decidir si la partida presupuestaria de un conmutador InfiniBand es honesta o puro teatro. Consulte N01 para los fundamentos de 25/100 GbE, N06 para el presupuesto de latencia subyacente, N07 para los parámetros de enrutamiento y N08 para la puesta en marcha práctica de RDMA.

Tres fabrics: qué es cada uno en realidad

InfiniBand nativo es un fabric HPC creado a medida. La capa de enlace no pierde paquetes por diseño: el control de flujo por créditos implica que un emisor nunca transmite si el receptor no tiene espacio en el búfer, de modo que los paquetes no se descartan bajo congestión como ocurre en Ethernet. El enrutamiento es centralizado: cada fabric tiene un gestor de subred (un proceso opensm o un SM integrado en un conmutador gestionado) que asigna los LID, calcula las rutas y se reconfigura cuando cambia la topología. La superficie para las aplicaciones es la API verbs: ibv_post_send, pares de colas, colas de finalización y regiones de memoria, la misma API que tomó prestada el resto del mundo RDMA.

En 2026 la generación desplegada es NDR (400 Gb/s por puerto, ConnectX-7, conmutadores Quantum-2). XDR (800 Gb/s, ConnectX-8, Quantum-X800) se está entregando este año en pedidos de hiperescalares y laboratorios de IA; la IBTA publicó la especificación XDR en 2023 y el silicio ya se fabrica en volumen. La latencia por salto de conmutador es inferior a 100 ns en el silicio NDR cut-through: la más baja disponible comercialmente, y lo ha sido por un factor de aproximadamente cuatro durante dos décadas.

RoCEv2 (RDMA over Converged Ethernet, versión 2) es la misma API verbs de RDMA ejecutándose sobre UDP/IP en Ethernet. En una ConnectX-7 o ConnectX-8, el silicio de la tarjeta de red es exactamente el mismo chip que el de la versión InfiniBand: un indicador de firmware (LINK_TYPE_P1 = 1 para IB, 2 para Ethernet) lo cambia de modo. Lo que no sale gratis: Ethernet pierde paquetes por defecto y RDMA presupone un transporte sin pérdidas. Por eso un despliegue RoCE necesita que el fabric se comporte como InfiniBand en la capa de enlace, lo que implica Priority Flow Control (PFC) como freno de emergencia a corto plazo, ECN como señal de congestión a largo plazo y un lazo de control como DCQCN que los une. Ese es el trabajo de configuración —y el riesgo operativo— que separa RoCE de la Ethernet convencional. Bien hecho, RoCEv2 se queda muy cerca de la latencia de InfiniBand: 1.5–2.5 µs de RTT RDMA en el mismo conmutador frente a ~1 µs de IB.

La Ethernet TCP/IP convencional es el resto del planeta. API de sockets, pila de red del kernel, sin RDMA y sin garantía de ausencia de pérdidas. El rendimiento se mueve en la banda de 10–30 µs por trayecto según N06, el caudal llega sin problema a la velocidad de línea de la tarjeta en transferencias masivas y la CPU está en la ruta de datos. Es el fabric adecuado para el tráfico de gestión, las descargas de modelos, la telemetría y el gigabit entre su robot y su servidor de inferencia. Es el fabric equivocado para AllReduce de gradientes síncronos entre 16 GPU.

La comparativa de cabecera

Lea la fila de coste como algo relativo, no absoluto. La diferencia real en conmutadores es de aproximadamente 2–3× por puerto entre un conmutador InfiniBand NDR y un conmutador Ethernet equivalente de categoría IA (Spectrum-X, Tomahawk 5/6). La tarjeta de red es prácticamente el mismo hardware en ambos modos; la diferencia está en las licencias y en el contrato de soporte.

Adónde va la latencia

N06 desglosa un único viaje de ida y vuelta de RDMA microsegundo a microsegundo. La versión condensada, relevante para esta comparativa:

InfiniBand gana en latencia del ASIC del conmutador: esa es la brecha que no se ha cerrado. Los conmutadores Ethernet modernos para IA (Spectrum-X SN5600 / Tomahawk 5) sitúan la cifra por salto en el rango de 400–600 ns, lo bastante competitiva como para que, en una topología leaf-spine de dos saltos, la diferencia absoluta sea del orden de 1 µs. Eso importa en colectivos de paralelismo de tensores muy ajustados. No importa en lecturas de almacenamiento ni en inferencia por lotes.

La columna de TCP convencional es la que asusta a quien solo conoce la latencia desde los sockets. El coste de kernel de 10–30 µs por trayecto es por paquete; en un colectivo de mensajes pequeños con muchos viajes de ida y vuelta se acumula rápido. NCCL sobre TCP funciona, pero es la opción de último recurso.

El ancho de banda y la realidad de las tarjetas de red

En 2026 la misma familia de tarjetas cubre tanto InfiniBand como RoCE:

El titular: la tarjeta ConnectX-7 que compra para IB es la misma que compraría para RoCE. El precio de lista a principios de 2026 ronda los €1,500–€2,200 para NDR de un puerto; el SKU de cada variante solo preconfigura el firmware. Por eso «pasar de IB a RoCE» no obliga a recomprar las tarjetas en la mayoría de los clústeres: es un indicador de firmware, un cambio de transceptores y un cambio del fabric de conmutación.

Por el lado de AMD, la Pensando Pollara 400 (que ya se entrega con las plataformas MI300X/MI325) es la primera tarjeta RDMA creíble ajena a NVIDIA con despliegues de IA en producción. Broadcom anunció una tarjeta de IA de 800G en 2025 (generación Thor Ultra / Thor 3). Por primera vez en una década, el mercado de tarjetas RDMA no es cosa de un solo proveedor.

Conmutadores: dónde está realmente el dinero

La tarjeta de red cuesta más o menos lo mismo en todos los modos. El conmutador no.

El sobrecoste por puerto de 2–3× de InfiniBand se ha mantenido estable durante años. Es un coste real: un conmutador Quantum-2 NDR de 64 puertos se lista en la franja de €120k–€180k según la óptica y el soporte; un Spectrum-X SN5600 de 64 puertos con un número de puertos similar se queda en torno a €60k–€90k; un whitebox Tomahawk 5 genérico de un fabricante taiwanés puede costar la mitad. Añada la óptica —los transceptores OSFP NDR cuestan entre €600 y €1,200 cada uno por volumen— y la diferencia «todo incluido» por puerto se amplía aún más.

Donde no se amplía tanto como la gente espera: los AOC (cables ópticos activos) y los DAC (cobre de conexión directa) para tiradas dentro del rack. Un DAC de 3 m cuesta ~€100–€200 en cualquiera de los dos ecosistemas. La factura óptica grande solo aparece cuando se superan los ~5 m y hacen falta transceptores SR/LR en ambos extremos.

El ángulo Spectrum-X: la propuesta de «Ethernet para IA» de NVIDIA

La respuesta estratégica de NVIDIA al giro hacia Ethernet es Spectrum-X: un paquete formado por el silicio de conmutación Spectrum-4 (y ahora Spectrum-5), tarjetas BlueField/ConnectX y un control de congestión de extremo a extremo que denominan «enrutamiento adaptativo + balanceo de carga basado en telemetría». El argumento comercial es que Spectrum-X ofrece un rendimiento de AllReduce de categoría InfiniBand sobre Ethernet, validado con cargas reales de entrenamiento de IA.

La realidad medida, a partir de las pruebas de la propia NVIDIA y de terceros:

• Spectrum-X cierra aproximadamente entre el 80 % y el 90 % de la brecha de rendimiento de AllReduce con InfiniBand NDR en cargas NCCL. Lo que queda son los mensajes pequeños y el comportamiento en la cola del peor caso.
• El enrutamiento adaptativo por paquete (reparte los paquetes entre varias rutas y los reordena en el receptor) es el ingrediente secreto. El ECMP estándar aplica un hash a flujos completos, lo que en una carga de IA con pocos flujos genera puntos calientes. Spectrum-X rompe esa premisa del hash por flujo.
• Solo funciona como pila completa. Combine una tarjeta ajena a NVIDIA con un conmutador Spectrum y la ruta de telemetría del enrutamiento adaptativo se rompe. Ese es el peaje del lock-in: escapa del ecosistema InfiniBand solo para volver a entrar en él sobre Ethernet.

La lectura honesta: Spectrum-X es una respuesta de ingeniería real a un problema real. También mantiene a NVIDIA presente en todas las capas de un clúster de IA, que es justo de lo que los hiperescalares querían escapar al elegir Ethernet. Que sea o no la decisión correcta depende de si esa brecha de rendimiento residual del 10–20 % compensa la libertad de integración que se cede a cambio.

La respuesta ajena a NVIDIA es Ultra Ethernet: la especificación UEC 1.0 publicada en 2025 y respaldada por AMD, Broadcom, Cisco, HPE, Intel, Meta y Microsoft. Entrega multirruta, balanceo de carga a nivel de paquete, control de congestión en la red y API abierta. La Pensando Pollara y la Broadcom Thor 3 son las primeras tarjetas que se entregan con UEC. A mediados de 2026, esta es la vía creíble y multiproveedor de Ethernet para IA que no exige la pila de NVIDIA de extremo a extremo.

El contexto de los hiperescalares (y lo que significa para el resto)

El titular de los dos últimos años: los hiperescalares han abandonado InfiniBand en buena medida. Meta entrenó Llama 3 sobre RoCE. El fabric de IA de AWS es Ethernet de extremo a extremo. Los pods de TPU de Google siempre han sido a medida, pero sus flotas de GPU funcionan sobre Ethernet. Microsoft Azure combina ambos y está invirtiendo con fuerza en Ethernet en las nuevas instalaciones. Alrededor del 70 % de los nuevos despliegues de infraestructura de IA a principios de 2026 eligieron Ethernet en lugar de InfiniBand, según los informes de resultados de Broadcom, lo que invierte la cuota de ~80 % de InfiniBand en 2023.

La conclusión publicada por Meta fue inequívoca: bien ajustados, RoCEv2 e InfiniBand ofrecen un rendimiento de entrenamiento equivalente en sus cargas de trabajo. El giro no va de rendimiento bruto, sino de quién posee el silicio, quién cubre los puestos de SRE, cómo se aprovisionan las piezas y si el modelo operativo se integra con el resto del centro de datos.

Para el resto, que no gestionamos fabrics de entrenamiento de 10,000 GPU, importan tres cosas:

1. La pregunta de si «Ethernet sirve para la IA» está zanjada. Sirve. RoCEv2 con silicio de conmutación moderno para IA y un control de congestión adecuado está listo para producción. Los hiperescalares lo han demostrado. Ya no hace falta defender esa elección en una petición de oferta.
2. La experiencia operativa se ha desplazado con el silicio. Hace cinco años había tres personas en su país capaces de levantar un fabric InfiniBand y una capaz de ajustar correctamente PFC/DCQCN en RoCE. Hoy las competencias en RoCE están mucho más extendidas, mientras que las de InfiniBand se concentran en laboratorios de HPC y en socios de NVIDIA. Planifique la plantilla en consecuencia.
3. La historia del lock-in se ha invertido. InfiniBand siempre ha sido de un único proveedor (NVIDIA, antes Mellanox). Ethernet era la alternativa abierta, hasta que Spectrum-X trasladó también a Ethernet la propuesta de NVIDIA de extremo a extremo. La respuesta verdaderamente neutral en 2026 es RoCE de clase UEC con silicio de Broadcom o AMD.

Cuándo InfiniBand es la decisión acertada

InfiniBand es la respuesta correcta cuando se cumplen la mayoría de estos puntos:

• Clúster de entrenamiento dedicado, de 16 nodos o más, que ejecuta AllReduce de gradientes síncronos a un ritmo sostenido. La ventaja de latencia en los colectivos pequeños se acumula a lo largo de miles de iteraciones.
• Va a comprar sistemas NVIDIA HGX o DGX de todos modos. Esas placas base están diseñadas en torno a NDR/XDR. Mezclar Ethernet en un nodo DGX resulta incómodo en lo operativo.
• Cuenta con personal experto que conoce el gestor de subred, sabe interpretar la salida de ibtracert y se maneja con la gestión UFM de NVIDIA.
• El presupuesto admite un sobrecoste por puerto de 2–3× en el conmutador sin romper la economía del clúster.
• El clúster es la razón de ser del edificio. Un despliegue puro de HPC/IA sin inquilinos de almacenamiento compartido ni tráfico de aplicaciones: InfiniBand simplifica el modelo operativo porque no hay ninguna discusión de QoS que mantener.

Si tres de esos cinco puntos describen su instalación, InfiniBand se gana su precio. Si solo uno lo hace, está pagando por un fabric optimizado para el problema de otro.

Cuándo RoCEv2 es la decisión pragmática

RoCE es la respuesta correcta para la mayor parte de la base de clientes de Kentino:

• De 4 a 16 nodos, carga de trabajo mixta, con entrenamiento, inferencia y almacenamiento en el mismo fabric.
• Presupuesto ajustado pero RDMA imprescindible. El clúster hace suficiente entrenamiento multinodo o inferencia distribuida como para que el peaje de la pila del kernel de TCP convencional resulte inaceptable, igual que lo es el sobrecoste del conmutador InfiniBand.
• Fabric compartido con tráfico ajeno a la IA. Operaciones, almacenamiento y acceso de los desarrolladores circulan por la misma planta Ethernet. RoCE convive con eso; InfiniBand necesita su propia capa física.
• Quiere poder elegir proveedor. Combinar conmutadores Broadcom con tarjetas NVIDIA y nodos AMD MI300. El ecosistema Ethernet lo permite; el de InfiniBand, no.
• El equipo ya tiene profundidad operativa en Ethernet. Ajustar PFC/ECN es trabajo de verdad, pero sobre un sustrato que todo el mundo conoce. El gestor de subred que lleva en la cabeza es el plano de control L2/L3 que ha operado durante años.

La trampa que conviene señalar: un RoCEv2 mal configurado es peor que TCP convencional. Las tormentas de pausas PFC en un fabric sin segmentar pueden tumbar el plano de gestión. Unos umbrales de ECN mal fijados producen un fabric que parece sano en un perftest pero que se desploma ante un incast real de AllReduce. Según N08, esta es la advertencia de que «desplegar la configuración de PFC a mano en un whitebox genérico es un proyecto en sí mismo». Compre a un proveedor con plantillas de RoCE contrastadas (NVIDIA Spectrum-X, Arista, Cisco Nexus 9000 con el perfil de servicio de fabric para IA) o contrate a alguien que ya lo haya hecho antes.

Cuándo basta con Ethernet TCP/IP convencional

La Ethernet convencional —sin RDMA, sin PFC, sin ajuste de DCQCN, solo sockets y la pila del kernel— es la respuesta correcta más a menudo de lo que se admite:

• Servidor de un solo nodo con 4× u 8× GPU. El tráfico entre GPU se queda en PCIe o NVLink dentro del chasis. El único papel de la red es meter datos de entrenamiento, sacar pesos de modelos y mover telemetría. Con 25 GbE o un enlace de 100 GbE basta.
• Clústeres de inferencia con poca coordinación entre nodos. La latencia por petición la domina el cómputo de la GPU; 10 µs de red son ruido.
• Laboratorio de uso mixto, banco de trabajo de robótica o entorno de desarrollo. El clúster no ejecuta entrenamiento síncrono sostenido. RDMA es excesivo.
• Montajes de IA en el borde para robótica como los descritos en I01: el robot habla con un servidor de inferencia, el presupuesto de latencia es de cientos de milisegundos y el fabric es invisible.

La recomendación honesta para la mayoría de los clientes de Kentino: si va a comprar un único K-AI 256 Turin Dual con 8× RTX 5090, no necesita InfiniBand y ni siquiera necesita RoCE. Un par de enlaces de 100 GbE a un conmutador de centro de datos estándar, con jumbo frames activados y el ajuste de kernel por defecto, es la respuesta correcta y cuesta cinco cifras menos que la alternativa.

La opinión honesta de Kentino

Vendemos a clientes que construyen clústeres de 1 a 8 nodos con GPU de consumo y de estación de trabajo (5090, 4090, RTX Pro 6000 Blackwell). No es el mercado de la hiperescala ni el de la HPC. Para ese perfil:

• Equipo de un solo nodo con 8 GPU: 25/100 GbE convencional y listo. Sin RDMA y sin peaje de fabric. El ancho de banda interesante está dentro del chasis, en PCIe Gen5; el enlace exterior sirve para la ingesta de datos y la gestión.
• Clúster de 2 a 4 nodos con entrenamiento distribuido ocasional: RoCEv2 sobre 100 GbE con una plantilla de conmutador para IA soportada por el fabricante. Spectrum-X si quiere la vía validada por NVIDIA; Tomahawk 5 / Arista si prefiere la vía multiproveedor. Prevea dos semanas para una puesta en marcha correcta de PFC/ECN y para la validación con nccl-tests.
• Clúster de entrenamiento sostenido de 4 a 8 nodos: RoCEv2 sobre 200 o 400 GbE, con el plano de gestión totalmente separado. Aquí está el punto dulce de la curva de coste por puerto; a esta escala la diferencia frente a IB no basta para justificar el sobrecoste del conmutador, salvo que la carga de trabajo sea inusualmente sensible a la latencia.
• Por encima de 8 nodos, con entrenamiento sostenido e intensivo en AllReduce: InfiniBand empieza a merecer consideración. No de forma automática: mídalo. Pero a este tamaño, la sencillez operativa de «el fabric no pierde paquetes, el SM se ocupa del enrutamiento y NCCL simplemente funciona» vale dinero de verdad.
• Cualquier cosa a escala DGX de verdad: no somos nosotros. Compre HGX y acepte el paquete InfiniBand.

---

Esto forma parte de la Kentino Wiki, una serie de referencia sobre computación de IA y los sistemas que la conectan. Las correcciones son bienvenidas en info@kentino.com.