Topologías sin switch: malla, anillo y conexión directa para clústeres de IA pequeños

Un switch 400 GbE de 32 puertos, con la óptica, los breakouts y las licencias de software necesarias para aprovecharlo de verdad, cuesta entre 40k € y 80k € a mediados de 2026, y un switch InfiniBand NDR de 64 puertos es aún peor. Para un cliente que monta un rig de entrenamiento de dos a cuatro nodos, el switch puede costar más que las GPU de uno de los nodos. Además añade un salto de latencia, un único punto de fallo, un ciclo de vida de firmware independiente y todo un pequeño proyecto de ajuste PFC/ECN si trabaja con RoCE.

El dato del que casi nadie habla es que por debajo de unos ocho nodos no necesita ningún switch. Puede cablear las NIC directamente entre sí, prescindir por completo del switch y quedarse con algo más sencillo, más barato y algo más rápido. El dato que casi nadie admite es que por encima de unos ocho nodos la topología sin switch se desmorona, y el cableado, el número de puertos y la operativa dejan de ser defendibles. Este artículo traza ese rango con honestidad.

Es el complemento de N04 (topologías con switch). Lea N06 para las cuentas de latencia en las que se apoya la ventaja del cableado directo, y K07 para ver cómo es un nodo base individual: el bloque de construcción que conecta este artículo.

Argumentos a favor del cableado sin switch

Cuatro cosas que obtiene gratis al eliminar el switch:

1. Cero latencia de switch. Un switch Ethernet moderno de IA en modo cut-through consume 400–600 ns por salto. Un switch InfiniBand NDR se queda por debajo de 100 ns. Un cable directo de NIC a NIC añade el retardo del propio cable (~5 ns/m en cobre, lo mismo en fibra) y nada más. En un ping-pong de dos nodos, eso reduce la latencia unidireccional de ~2 µs a ~1.2–1.5 µs.
2. Cero coste de switch. Una conexión directa de dos nodos son dos NIC y un DAC. Un triángulo de tres nodos son tres NIC y tres DAC. El ahorro de capex frente incluso a un switch 100 GbE pequeño con óptica QSFP28 es dinero real en una instalación modesta: 10k €–30k € que vuelven a las GPU.
3. Sin quebraderos de cabeza con PFC/ECN. Un enlace directo de NIC a NIC es punto a punto: el control de flujo es una conversación entre dos partes y PFC se reduce a «dile al par que pare». No hay patología de propagación de pausas en toda la red porque no hay red conmutada.
4. Una sola clase de dispositivo que depurar. Cuando algo falla en una red sin switch, la lista de sospechosos son dos NIC, un cable y los controladores del kernel en ambos extremos. Es un espacio de búsqueda pequeño y finito.

El caso de dos nodos: conéctelos y listo

Es la configuración de clúster de IA más limpia posible y aquella en la que prescindir del switch es inequívocamente correcto.

Conexión directa de dos nodos: un DAC OSFP pasivo, sin switch, latencia RDMA de ~0.8–1.2 µs y ~50 GB/s de rendimiento útil por dirección.

Un único DAC OSFP entre dos NIC ConnectX-7 a 400 Gb/s. Esa es toda la red entre nodos. Las mismas NIC que mirarían a un switch en una instalación mayor se miran entre sí. Los verbs RDMA funcionan, NCCL lo detecta automáticamente y GPUDirect RDMA se ejecuta sin cambios.

Lo que obtiene: ~50 GB/s útiles por dirección, latencia RDMA bruta por debajo del microsegundo (ib_send_lat se sitúa en torno a 0.8–1.2 µs) y un solo cable. No hay problema de agregación porque no hay nada que agregar. No hay sobresuscripción porque no hay punto de ramificación.

Para una pareja de entrenamiento de dos nodos —la instalación «se me ha quedado pequeña una sola máquina» más habitual entre nuestros clientes— esta es la respuesta correcta. Olvídese del switch. Conéctelos entre sí. Invierta el ahorro en una capa NVMe mayor o en un segundo puerto de NIC para redundancia.

Un refinamiento práctico: utilice una ConnectX-7 de doble puerto y haga pasar dos DAC paralelos de 200 Gb/s entre las máquinas, con NCCL configurado para usar ambos HCA (NCCL_IB_HCA=mlx5_0,mlx5_1). Pierde algo de pico por flujo, pero gana redundancia de ruta y un comportamiento algo mejor con mensajes pequeños gracias a los pares de colas en paralelo. Es nuestra opción por defecto en instalaciones de dos nodos.

Tres y cuatro nodos: triángulo y K₄

Tres nodos es el caso más pequeño en el que la topología empieza a importar. Las opciones son:

• Cadena lineal (A-B-C). Dos cables. Diámetro 2. El nodo B se convierte en cuello de botella: todo el tráfico de A a C lo atraviesa. Evítela.
• Triángulo (malla completa). Tres cables. Diámetro 1. Cada nodo tiene dos puertos. Cada flujo es un salto. Esta es la respuesta correcta.

Izquierda: triángulo (K₃): 3 nodos, 3 cables, diámetro 1. Derecha: malla completa K₄: 4 nodos, 6 cables, diámetro 1. Cada pareja conectada directamente.

Con cuatro nodos la cosa se pone interesante. La malla completa —el grafo completo K₄— tiene seis enlaces en total, tres puertos por nodo y diámetro 1. Cada nodo alcanza a cualquier otro en exactamente un salto. Las cuentas del cableado:

Los puertos por nodo de una malla completa son N-1, por lo que este enfoque se desploma rápido. Con ocho nodos necesita siete puertos por máquina, que es el final del camino práctico en una sola ranura PCIe Gen5 x16.

¿Cuándo gana una malla completa de cuatro nodos a un switch pequeño? En concreto, cuando tiene 4× nodos Kentino AI 128 para inferencia y los quiere fuertemente acoplados, cuando trabaja con RoCE y no quiere PFC a través de un switch, y cuando los 15k €–25k € adicionales de un switch 100 GbE con óptica pesan en el presupuesto.

¿Cuándo gana un switch pequeño incluso con cuatro nodos? Cuando quizá añada un quinto nodo el trimestre que viene. Añadir un nodo a una malla K₄ obliga a recablear todos los nodos existentes para sumar los puertos nuevos. Un switch tiene puertos libres: basta con enchufar.

El caso de 8 nodos: hipercubo, con asterisco

El 3-cubo (Q₃) —un hipercubo de dimensión 3— es la disposición sin switch de manual para ocho nodos. Cada nodo ocupa un vértice del cubo; cada arista del cubo es un enlace directo. Tres puertos por nodo, doce enlaces en total, diámetro 3.

La valoración honesta: esto es raro en producción. Funciona, el peor caso de diámetro 3 es aceptable para la mayoría de colectivas, pero el esquema de cableado resulta francamente confuso para cualquiera que no lo haya montado, diagnosticar averías exige entender el etiquetado en código Gray y un switch 200 GbE pequeño de 16 puertos ya está en la misma banda de precio que los puertos de NIC y cables adicionales. El hipercubo de 8 nodos resulta más interesante como ejemplo didáctico que como producto que enviamos. Con ocho nodos, nuestra recomendación por defecto es un switch.

El anillo: tosco, sencillo y sorprendentemente vigente

Olvídese de minimizar el diámetro. El anillo conecta cada nodo solo con sus dos vecinos: A-B-C-D-...-A. Dos puertos por nodo sea cual sea el tamaño del clúster. N enlaces en total. Diámetro N/2.

Suena fatal: diámetro 4 con 8 nodos, diámetro 16 con 32 nodos. ¿Por qué no siempre es un error?

Porque el allreduce en anillo de NCCL encaja exactamente sobre un anillo físico. El algoritmo envía cada bloque de datos una vuelta al anillo por fase; si la topología física ya es un anillo, el algoritmo funciona a la velocidad nominal de un solo enlace, sin desperdiciar ancho de banda. La opción por defecto de NCCL para mensajes medianos y grandes es el anillo, no el árbol, porque el anillo alcanza la cota óptima de ancho de banda: 2(N-1)/N × link bandwidth para allreduce. El diámetro de la topología física no importa con mensajes grandes: lo que importa es que todos los enlaces se usen en paralelo, y el anillo lo hace a la perfección.

El terreno pragmático en el que un anillo físico es la respuesta correcta sin switch son los rigs de entrenamiento de 4–8 nodos en los que cada nodo ya tiene exactamente dos puertos RDMA. La pega: el anillo no tiene redundancia de ruta. Un cable defectuoso parte el clúster en dos.

Cuándo gana el cableado sin switch a un switch pequeño, en cifras

Comparativa aproximada de precios para una red de 8 nodos, mediados de 2026 (EUR sin IVA):

El punto de cruce en el que el switch se amortiza está en torno a 6–8 nodos, según el nivel de ancho de banda y según si piensa crecer.

El enlace de subida: la parte que se olvida

Una red de datos sin switch es autosuficiente por dentro. Por sí sola no está conectada a nada. El clúster sigue necesitando un enlace de subida para descargar conjuntos de datos y modelos del almacenamiento corporativo, SSH desde las estaciones de trabajo de los desarrolladores, telemetría a Prometheus/Grafana, gestión IPMI/BMC y tráfico del registro de contenedores.

Patrón A: cada nodo tiene una NIC de gestión independiente. Cada nodo lleva un pequeño puerto 25 GbE (o incluso 10 GbE) a un switch de gestión barato, totalmente independiente de la red RDMA. Esta es casi siempre la respuesta correcta. La red RDMA es un entorno estéril, sin pérdidas y ajustado; el plano de gestión es una red Ethernet normal con tráfico normal. Mézclelos y el tráfico de gestión perturbará sus colectivas.

Patrón B: nodo de subida dedicado. Un nodo del clúster tiene un puerto adicional que sale al exterior. Los demás nodos llegan al mundo exterior enrutando a través de él. Funciona con presupuestos ajustados y montajes de laboratorio pequeños, pero el nodo de subida se convierte en cuello de botella para la lectura de conjuntos de datos y en un único punto de fallo para el acceso de gestión.

El muro infranqueable de los ~16 nodos

El cableado sin switch muere por encima de 16 nodos por tres motivos independientes, y basta con uno de ellos:

1. Número de puertos por nodo. La malla completa exige N-1 puertos por nodo. El hipercubo exige log₂(N). Incluso con esa escala logarítmica, 16 nodos necesitan 4 puertos por nodo, que está en el límite de la densidad práctica de NIC en una sola ranura PCIe Gen5 x16. 32 nodos necesitan 5 puertos por nodo: varias ranuras y varias ubicaciones NUMA que gestionar.
2. Combinatoria del cableado. Una malla completa K₄ de 16 nodos tiene 120 cables. Un hipercubo Q₄ de 16 nodos tiene 32. En cualquier caso, el etiquetado, la documentación y el acceso físico a cada cable importan. Un solo cable mal conectado en un hipercubo de 32 cables cuesta horas de localizar.
3. Operativa diaria. Sustituir una NIC averiada en una red sin switch obliga a identificar los N-1 (o log N) cables que la conectaban y a recolocar cada uno en un puerto concreto del recambio. La diferencia de MTTR frente a la versión con switch es real.

El resumen honesto: prescindir del switch es acertado con 2 a 4 nodos dedicados, defendible con 5 a 8 nodos y un compromiso claro de «no vamos a crecer», y un error con 9 nodos o más. A partir de 9, compre un switch.

Dos configuraciones concretas que merece la pena describir

2× Kentino AI 256 Turin Dual, conectados en directo, 400G. Dos nodos EPYC Turin de 8 GPU (5090 o RTX Pro 6000 Blackwell), cada uno con una ConnectX-7 400 GbE / NDR de un puerto y un DAC OSFP pasivo de 3 m entre ambos. Coste total del hardware entre nodos: ~4k €. Busbw de allreduce NCCL con mensajes grandes: ~45 GB/s. Adecuado para inferencia tensor-paralela a dos bandas de un modelo denso de 405B (repartiendo capas entre las dos máquinas) o para ajustar finamente un 70B que no llega a caber en una sola. Hemos entregado variantes de esta configuración varias veces. Es aburrida, funciona y cuesta un orden de magnitud menos que el montaje equivalente con switch.

4× Kentino AI 128 en malla completa K₄, 100G. Cuatro nodos EPYC de un solo zócalo con 4× RTX Pro 6000 Blackwell cada uno. Cada nodo lleva una disposición de NIC equivalente a tres puertos (una de doble puerto más una de un puerto, o una de cuatro puertos con uno sin usar) y una red DAC 100 GbE. Seis cables en total. Ancho de banda de bisección de 400 Gb/s. Se usa para inferencia tensor-paralela de un modelo de clase 70B con reparto a cuatro bandas y paso completo de activaciones entre cada pareja. Elimina el switch como único punto de fallo del servicio de inferencia y el presupuesto del cliente fue a GPU en lugar de a equipamiento de conmutación. Contrapartida: queda fijado en cuatro nodos; crecer exige rediseñar.

---

Forma parte de la Kentino Wiki, una serie de referencia sobre computación de IA, robótica y los sistemas que los conectan. Comentarios y correcciones son bienvenidos en info@kentino.com.