InfiniBand vs RoCE vs Ethernet simples: escolher a rede em 2026

Em qualquer consulta de preços para um cluster de IA multinó aparecem três opções de transporte: InfiniBand, RoCE e Ethernet TCP/IP simples. Não são três pontos da mesma linha. São três filosofias de engenharia distintas — um fabric HPC sem perdas por conceção, uma Ethernet afinada para funcionar sem perdas e a pilha de rede do dia a dia que todo o resto da computação usa — com curvas de custo diferentes, pegadas operacionais diferentes e respostas certas muito diferentes consoante aquilo que o cliente está realmente a construir.

Este artigo explica o que é cada uma delas, para onde vão de facto a latência e o dinheiro em 2026 e onde fica a fronteira entre "precisamos de RDMA" e "precisamos de RDMA e, especificamente, de InfiniBand". Terminamos com uma matriz de decisão direta.

Público: quem está a dimensionar um cluster de IA de 2 a 32 nós e a tentar perceber se a rubrica do switch InfiniBand é honesta ou encenação. Consulte também N01 para as bases de 25/100 GbE, N06 para o orçamento de latência subjacente, N07 para os parâmetros de encaminhamento e N08 para a colocação prática de RDMA em serviço.

Três fabrics: o que é realmente cada um

O InfiniBand nativo é um fabric HPC concebido de raiz. A camada de ligação é, por conceção, sem perdas — o controlo de fluxo por créditos faz com que o emissor só transmita se o recetor tiver espaço em buffer, pelo que os pacotes não são descartados em congestionamento como acontece na Ethernet. O encaminhamento é centralizado: todos os fabrics têm um gestor de sub-rede (um processo opensm ou um SM embebido num switch gerido) que atribui LID, calcula caminhos e se reconfigura quando a topologia muda. A superfície aplicacional é a API verbs — ibv_post_send, pares de filas, filas de conclusão e regiões de memória — a mesma API que todo o resto do mundo RDMA adotou.

Em 2026, a geração instalada é a NDR (400 Gb/s por porta, ConnectX-7, switches Quantum-2). A XDR (800 Gb/s, ConnectX-8, Quantum-X800) está a ser entregue este ano a hyperscalers e laboratórios de IA; a IBTA publicou a especificação XDR em 2023 e o silício já se produz em volume. A latência por salto de switch fica abaixo dos 100 ns no silício cut-through NDR — a mais baixa disponível comercialmente e, há duas décadas, mais baixa por um fator de cerca de quatro.

RoCEv2 (RDMA over Converged Ethernet, versão 2) é a mesma API verbs de RDMA a correr sobre UDP/IP em Ethernet. Numa ConnectX-7 ou ConnectX-8, o silício da NIC é exatamente o mesmo chip da versão InfiniBand — uma flag de firmware (LINK_TYPE_P1 = 1 para IB, 2 para Ethernet) alterna entre os dois modos. O que não é gratuito: a Ethernet perde pacotes por omissão e o RDMA pressupõe transporte sem perdas. Por isso, uma instalação RoCE exige que o fabric se comporte como InfiniBand na camada de ligação, o que implica Priority Flow Control (PFC) como travão de emergência de curto prazo, ECN como sinal de congestionamento de longo prazo e uma malha de controlo como o DCQCN que liga os dois. É esse o trabalho de configuração — e o risco operacional — que separa o RoCE da Ethernet simples. Bem feito, o RoCEv2 fica a curta distância da latência do InfiniBand: 1.5–2.5 µs de RTT RDMA no mesmo switch, contra os ~1 µs do IB.

A Ethernet TCP/IP simples é o resto do planeta. API de sockets, pilha de rede do kernel, sem RDMA, sem garantia de ausência de perdas. O desempenho situa-se na banda de latência de 10–30 µs por sentido indicada em N06, o débito chega ao ritmo de linha da NIC em transferências em massa e o CPU está no caminho dos dados. É o fabric certo para tráfego de gestão, descarregamento de modelos, telemetria e para o gigabit entre o robô e o servidor de inferência do cliente. É o fabric errado para AllReduce síncronos de gradientes em 16 GPU.

A comparação essencial

Leia a linha de custo como relativa, não como absoluta. A diferença real nos switches é de cerca de 2–3× por porta entre um switch InfiniBand NDR e um switch Ethernet equivalente de nível IA (Spectrum-X, Tomahawk 5/6). A NIC em si é essencialmente o mesmo hardware nos dois modos; a diferença está no licenciamento e no contrato de suporte.

Para onde vai a latência

N06 desmonta uma única ida e volta RDMA microssegundo a microssegundo. A versão condensada, relevante para esta comparação:

O InfiniBand ganha na latência do ASIC do switch — é essa a distância que não se fechou. Os switches Ethernet modernos para IA (Spectrum-X SN5600 / Tomahawk 5) colocam o valor por salto na casa dos 400–600 ns, o que é suficientemente competitivo para que, numa leaf-spine de dois saltos, a diferença absoluta seja da ordem de 1 µs. Isso conta em coletivos de paralelismo de tensores muito apertados. Não conta em leituras de armazenamento nem em inferência por lotes.

A coluna do TCP simples é a que assusta quem só conhece a latência a partir dos sockets. O custo de 10–30 µs por sentido no kernel é por pacote; num coletivo de mensagens pequenas com muitas idas e voltas, acumula depressa. O NCCL sobre TCP funciona, mas é a opção de último recurso.

Largura de banda e a realidade das NIC

Em 2026, a mesma família de placas cobre tanto o InfiniBand como o RoCE:

O essencial: a placa ConnectX-7 que se compra para IB é a mesma que se compraria para RoCE. No início de 2026, o preço de tabela anda nos €1,500–€2,200 para a NDR de porta única; o SKU da variante limita-se a pré-configurar o firmware. É por isso que "passar de IB para RoCE" não obriga a comprar NIC novas na maioria dos clusters — é uma flag de firmware, uma troca de transcetores e uma mudança do fabric de switching.

Do lado da AMD, a Pensando Pollara 400 (já a ser entregue com as plataformas MI300X/MI325) é a primeira NIC RDMA credível fora da NVIDIA com instalações de IA em produção. A Broadcom anunciou em 2025 uma NIC de IA de 800G (geração Thor Ultra / Thor 3). Pela primeira vez numa década, o mercado das NIC RDMA deixou de ter um único fornecedor.

Switches: é aqui que está mesmo o dinheiro

A NIC custa praticamente o mesmo nos dois modos. O switch não.

O sobrecusto de 2–3× por porta do InfiniBand é estável há anos. É um custo real: um switch Quantum-2 NDR de 64 portas fica na banda dos €120k–€180k consoante a ótica e o suporte; um Spectrum-X SN5600 de 64 portas com contagem de portas semelhante situa-se entre €60k e €90k; um whitebox Tomahawk 5 genérico de um OEM taiwanês pode custar metade disso. Junte a ótica — os transcetores OSFP NDR custam €600–€1,200 cada em volume — e a diferença por porta "tudo incluído" alarga ainda mais.

Onde a diferença não aumenta tanto como se espera: nos AOC (cabos óticos ativos) e DAC (cobre de ligação direta) para percursos dentro do rack. Um DAC de 3 m custa ~€100–€200 em qualquer dos ecossistemas. A fatura pesada da ótica só aparece acima de ~5 m, quando são precisos transcetores SR/LR nas duas pontas.

O argumento Spectrum-X: a proposta de "Ethernet para IA" da NVIDIA

A resposta estratégica da NVIDIA à viragem para a Ethernet é o Spectrum-X — um pacote de silício de switching Spectrum-4 (e agora Spectrum-5), NIC BlueField/ConnectX e um controlo de congestionamento ponta a ponta a que chamam "encaminhamento adaptativo + balanceamento de carga baseado em telemetria". A promessa de marketing é que o Spectrum-X entrega, em Ethernet, desempenho de AllReduce da classe do InfiniBand, validado em cargas reais de treino de IA.

A realidade medida, a partir dos benchmarks da própria NVIDIA e de terceiros:

• O Spectrum-X fecha cerca de 80–90% da diferença de desempenho de AllReduce face ao InfiniBand NDR em cargas NCCL. O que falta são as mensagens pequenas e o comportamento de cauda no pior caso.
• O encaminhamento adaptativo por pacote (que dispersa pacotes por vários caminhos e os reordena no recetor) é o segredo da receita. O ECMP normal faz hash de fluxos inteiros, o que, numa carga de IA com poucos fluxos, gera pontos quentes. O Spectrum-X quebra o pressuposto do hash por fluxo.
• Só funciona como pilha completa. Junte uma NIC de outro fabricante a um switch Spectrum e o caminho de telemetria do encaminhamento adaptativo deixa de funcionar. É este o compromisso de dependência — escapa-se ao ecossistema InfiniBand apenas para voltar a entrar nele em Ethernet.

A leitura honesta: o Spectrum-X é uma resposta de engenharia a sério para um problema a sério. Também mantém a NVIDIA presente em todas as camadas de um cluster de IA, que é precisamente aquilo de que os hyperscalers quiseram fugir ao escolher Ethernet. Se é a decisão certa depende de saber se os 10–20% de diferença de desempenho que restam compensam a liberdade de integração a que se renuncia.

A resposta fora da NVIDIA é a Ultra Ethernet — a especificação UEC 1.0 publicada em 2025, apoiada por AMD, Broadcom, Cisco, HPE, Intel, Meta e Microsoft. Entrega multicaminho, balanceamento de carga ao nível do pacote, controlo de congestionamento na própria rede e API aberta. A Pensando Pollara e a Broadcom Thor 3 são as primeiras NIC a sair com UEC. Em meados de 2026, este é o caminho credível de Ethernet para IA entre vários fornecedores que não obriga à pilha NVIDIA de ponta a ponta.

O contexto dos hyperscalers (e o que significa para os restantes)

O essencial dos últimos dois anos: os hyperscalers abandonaram em larga medida o InfiniBand. A Meta treinou o Llama 3 sobre RoCE. O fabric de IA da AWS é Ethernet de ponta a ponta. Os pods de TPU da Google sempre foram feitos à medida, mas as suas frotas de GPU assentam em Ethernet. A Microsoft Azure usa uma mistura e está a investir fortemente em Ethernet nas novas construções. Cerca de 70% das novas instalações de infraestrutura de IA no início de 2026 escolheram Ethernet em vez de InfiniBand, segundo as divulgações de resultados da Broadcom — uma inversão face à quota de ~80% do InfiniBand em 2023.

A conclusão publicada pela Meta não deixa margem para dúvidas: devidamente afinados, o RoCEv2 e o InfiniBand entregam desempenho de treino equivalente nas suas cargas. A viragem não tem que ver com desempenho bruto — tem que ver com quem detém o silício, quem contrata os SRE, como se adquirem as peças e se o modelo operacional se integra no resto do centro de dados.

Para os restantes, que não gerem fabrics de treino com 10,000 GPU, interessam três pontos:

1. A questão de saber se "a Ethernet serve para IA" está encerrada. Serve. O RoCEv2 com silício de switching moderno para IA e um controlo de congestionamento adequado está ao nível de produção. Os hyperscalers provaram-no. Já não é preciso defender a escolha numa consulta de preços.
2. A competência operacional mudou-se com o silício. Há cinco anos havia três pessoas no país do cliente capazes de pôr um fabric InfiniBand a funcionar e uma capaz de afinar devidamente PFC/DCQCN em RoCE. Hoje, as competências de RoCE são muito mais comuns e as de InfiniBand estão concentradas em laboratórios de HPC e em parceiros da NVIDIA. Planeie a equipa em conformidade.
3. A questão da dependência de fornecedor inverteu-se. O InfiniBand sempre foi de fornecedor único (NVIDIA, antes Mellanox). A Ethernet era a alternativa aberta — até o Spectrum-X trazer a proposta NVIDIA de ponta a ponta também para a Ethernet. Em 2026, a resposta verdadeiramente neutra é RoCE de classe UEC com silício da Broadcom ou da AMD.

Quando o InfiniBand é a escolha certa

O InfiniBand é a resposta certa quando a maioria destes pontos se verifica:

• Cluster de treino dedicado, 16 ou mais nós, a correr AllReduce síncronos de gradientes a ritmo sustentado. A vantagem de latência no extremo dos coletivos pequenos acumula-se ao longo de milhares de iterações.
• O cliente já vai comprar sistemas NVIDIA HGX ou DGX. Essas baseboards foram desenhadas em torno de NDR/XDR. Misturar Ethernet num nó DGX é operacionalmente incómodo.
• A equipa interna tem competências que conhecem o gestor de sub-rede, sabem ler o resultado de ibtracert e estão à vontade com a gestão UFM da NVIDIA.
• O orçamento suporta um sobrecusto de 2–3× por porta de switch sem destruir a economia do cluster.
• O cluster é a razão de ser de todo o edifício. Uma instalação puramente HPC/IA, sem inquilinos de armazenamento partilhado e sem tráfego aplicacional — o InfiniBand simplifica o modelo operacional porque não há discussão de QoS para ter.

Se três destes cinco pontos descrevem a montagem do cliente, o InfiniBand justifica o preço. Se apenas um o fizer, está a pagar um fabric otimizado para o problema de outra pessoa.

Quando o RoCEv2 é a escolha pragmática

O RoCE é a resposta certa para a maior fatia dos clientes da Kentino:

• 4 a 16 nós, carga de trabalho mista, treino, inferência e armazenamento no mesmo fabric.
• Orçamento contido, mas RDMA indispensável. O cluster faz treino multinó ou inferência distribuída que chegue para que o imposto da pilha do kernel do TCP simples seja inaceitável — e o sobrecusto do switch InfiniBand também.
• Fabric partilhado com tráfego que não é de IA. Operações, armazenamento e acesso dos programadores circulam todos na mesma instalação Ethernet. O RoCE coexiste com isso; o InfiniBand precisa da sua própria camada física.
• O cliente quer liberdade de escolha de fornecedor. Juntar switches Broadcom a NIC NVIDIA e a nós AMD MI300. O ecossistema Ethernet permite-o; o do InfiniBand não.
• A equipa já tem profundidade operacional em Ethernet. Afinar PFC/ECN dá trabalho a sério, mas é trabalho num substrato que toda a gente já conhece. O SM que falta aprender é o plano de controlo L2/L3 que a equipa já opera há anos.

A armadilha a assinalar: um RoCEv2 mal configurado é pior do que TCP simples. As tempestades de pausas PFC num fabric sem segmentação podem deitar abaixo o plano de gestão. Limiares de ECN mal definidos produzem um fabric que parece saudável num perftest mas colapsa sob o incast real de um AllReduce. Conforme N08, este é o aviso de que "configurar PFC à mão num whitebox genérico é um projeto por si só". Compre a um fornecedor com modelos de RoCE validados (NVIDIA Spectrum-X, Arista, Cisco Nexus 9000 com o perfil de serviço para fabric de IA) ou contrate alguém que já o tenha feito antes.

Quando a Ethernet TCP/IP simples chega

A Ethernet simples — sem RDMA, sem PFC, sem afinação de DCQCN, apenas sockets e a pilha do kernel — é a resposta certa mais vezes do que se admite:

• Servidor de nó único com 4 ou 8 GPU. O tráfego entre GPU fica em PCIe ou NVLink dentro do chassis. O único papel da rede é fazer entrar dados de treino, sair pesos de modelos e circular telemetria. 25 GbE ou uma ligação de 100 GbE chega.
• Clusters de inferência com pouca coordenação entre nós. A latência por pedido é dominada pelo cálculo na GPU; 10 µs de rede são ruído.
• Laboratório de uso misto, bancada de robótica, ambiente de desenvolvimento. O cluster não corre treino síncrono sustentado. O RDMA é excessivo.
• Montagens de IA edge em robótica como as descritas em I01 — o robô comunica com um servidor de inferência, o orçamento de latência está na casa das centenas de milissegundos e o fabric é invisível.

A resposta honesta para a maior parte dos clientes da Kentino: se vai comprar um único K-AI 256 Turin Dual com 8 RTX 5090, não precisa de InfiniBand nem sequer de RoCE. Duas ligações de 100 GbE a um switch normal de centro de dados, jumbo frames ativados e a afinação de kernel por omissão — é essa a resposta certa e custa menos cinco dígitos do que a alternativa.

A posição honesta da Kentino

Vendemos a clientes que constroem clusters de 1 a 8 nós com GPU de consumo e de estação de trabalho (5090, 4090, RTX Pro 6000 Blackwell). Não é o mercado hyperscale nem o mercado HPC. Para esse perfil:

• Máquina de nó único com 8 GPU: 25/100 GbE simples. Fim da conversa. Sem RDMA, sem imposto de fabric. A largura de banda que interessa está dentro do chassis, em PCIe Gen5; a ligação exterior serve para entrada de dados e gestão.
• Cluster de 2 a 4 nós com treino distribuído ocasional: RoCEv2 em 100 GbE com um modelo de switch de IA suportado pelo fornecedor. Spectrum-X para o caminho validado pela NVIDIA; Tomahawk 5 / Arista para o caminho multifornecedor. Conte com duas semanas para a entrada em serviço correta de PFC/ECN e para a validação com nccl-tests .
• Cluster de 4 a 8 nós com treino sustentado: RoCEv2 em 200 ou 400 GbE, com o plano de gestão totalmente separado. É aqui que a curva de custo por porta está no seu melhor; a esta escala, a diferença face ao IB não chega para justificar o sobrecusto do switch, a não ser que a carga de trabalho seja invulgarmente sensível à latência.
• Acima de 8 nós, com treino sustentado e muito AllReduce: o InfiniBand começa a merecer ponderação. Não é automático — meça. Mas, a esta dimensão, a simplicidade operacional de "o fabric não perde pacotes, o SM trata do encaminhamento, o NCCL simplesmente funciona" vale dinheiro a sério.
• Tudo o que seja verdadeiramente à escala DGX: não somos nós. Compre HGX e aceite o pacote InfiniBand.

---

Este texto faz parte da Kentino Wiki, uma série de referência sobre computação de IA e os sistemas que a interligam. Correções são bem-vindas em info@kentino.com.