Ethernet para IA: fundamentos 25/100/400 GbE

A Ethernet é o tecido de rede por omissão para qualquer cluster de IA construído fora de um hiperescalador. Nem sempre é a opção mais rápida no papel — o N02 defenderá a InfiniBand onde ela realmente ganha — mas é a opção que existe em todo o lado, faz correr todas as ferramentas adjacentes, custa menos por gigabit e não o prende a nada.

Para clusters de nível Kentino — servidores de inferência de um só nó, rigs de treino de 2 a 8 nós, pequenos laboratórios de investigação — a Ethernet é praticamente sempre a resposta certa. As perguntas interessantes são: que escalão de velocidade, que NIC, cobre ou fibra, e quanto custa de facto cada passo em frente. Este artigo responde a tudo isso, com honestidade e com números de preços de meados de 2026.

Se vai implementar uma única máquina de 4 GPU ou 8 GPU só para inferência, pode saltar diretamente para a tabela de custos no fim e ficar por aí. O resto do artigo é para quem planeia várias máquinas.

Porque é que a Ethernet ganha por omissão

Três razões, pela ordem com que costumam decidir a questão:

1. Ecossistema. Todos os servidores, switches, sistemas de armazenamento e orquestradores falam Ethernet. Os controladores vêm no kernel. As ferramentas de monitorização partem do princípio de que é Ethernet. O primeiro dia de alguém que chega à equipa não começa com "deixe-me explicar-lhe o que é InfiniBand".
2. Custo por gigabit. Uma porta de switch de 100 GbE custa cerca de um quarto do equivalente em InfiniBand HDR. DACs e transcetores são commodities. O fornecimento de NICs é multimarca — NVIDIA, Broadcom, Intel — o que mantém os preços honestos. A InfiniBand tem um único fornecedor.
3. Sem dependência de fabricante. A Ethernet é um transporte. Os switches modernos tratam de TCP, RoCE, NVMe-oF e tráfego do plano de gestão no mesmo fio, com QoS sensata. A InfiniBand compromete o tecido de rede com o roteiro da NVIDIA.

A contrapartida é que a Ethernet para IA exige mais afinação para chegar ao mesmo comportamento à velocidade do fio que a InfiniBand dá logo à partida. RoCEv2, PFC, ECN, DCQCN — tudo configurável em Ethernet, tudo pré-configurado em IB. O N02 e o N08 tratam dessa batalha.

Escalões de velocidade e quando faz sentido cada um

O maior erro isolado nos orçamentos de nível Kentino é sobredimensionar a ligação. Um switch de 400 GbE por baixo de uma máquina de inferência com 8 GPU é dinheiro deitado fora. Uma ligação de 10 GbE entre dois nós de treino é tempo de GPU deitado fora. O mapa abaixo é o que interessa.

Três ideias a interiorizar:

• 25 GbE não é para o tecido de rede de IA. É para tudo o que o rodeia — administração, telemetria, a ligação ao servidor de armazenamento quando este não está no mesmo tecido RDMA. Chamar a 25 GbE "o escalão de IA" denuncia um fornecedor que não conhece a carga de trabalho.
• 100 GbE é a base honesta para multinó. Abaixo disso, a sincronização de gradientes bloqueia a cada iteração. Acima disso, a questão passa a ser se as suas GPUs conseguem produzir dados suficientemente depressa para saturar o fio. Para sistemas de um só nó com 5090 / RTX Pro 6000 Blackwell em trabalho do tipo fine-tuning, 100 GbE costuma chegar.
• 400 GbE só se paga em treino multi-rack a sério. Dois nós de 8 GPU a fazer fine-tuning de 70B não precisam disso. Dezasseis nós a fazer pré-treino sobre texto tokenizado precisam.

A 800 GbE existe, o silício já é vendido (ConnectX-8, Thor Ultra), mas é hoje uma história de hiperescaladores e de implementações de classe B200. Fica a menção para efeitos de completude; é pouco provável que a especifique numa configuração Kentino em 2026.

Famílias de NIC que realmente existem no mercado

O mercado de NICs em 2026 é dominado pela linha ConnectX da NVIDIA, com a Broadcom e a Intel a cobrir o resto. A Marvell, a AMD/Pensando e um punhado de Broadcoms com marca de OEM existem, mas raramente aparecem nas listas de materiais da Kentino.

As escolhas honestas para trabalho de nível Kentino:

• Intel E810-CQDA2 quando o cliente quer 100 GbE com orçamento curto e aceita que afinar o RoCE dá mais trabalho do que numa Mellanox. Cerca de €700–€900 no mercado.
• ConnectX-6 Dx para qualquer ligação de 100 GbE que precise de correr RoCE de forma fiável. €1100–€1500 de acréscimo. A resposta para 90% dos casos.
• ConnectX-7 quando a plataforma é PCIe Gen 5 e 200 ou 400 GbE se justificam por treino multinó real. A placa OSFP NDR400 de porta única anda pelos €1650 no mercado e alterna entre IB e Ethernet por firmware — útil se vier a querer mudar de tecido de rede.
• BlueField-3 e ConnectX-8 existem; se as está a especificar, não é este o artigo que precisa de ler.

O PCIe é o teto silencioso. Uma NIC de 100 GbE numa slot Gen 3 x8 negoceia à velocidade da ligação e corre a meio gás. A regra:

Nas plataformas EPYC de 8 GPU da Kentino, as GPUs ocupam a maioria das slots Gen 4/5 x16; em algumas configurações a NIC acaba numa Gen 4 x8. Isso chega para uma porta de 100 GbE e é marginal para duas. Confirme antes de orçamentar. O W02 (linhas PCIe & topologia) é a versão aprofundada desta história.

As opções metálicas e óticas — DAC, AOC, óticas

Três formas de concretizar fisicamente uma ligação, separadas por uma ordem de grandeza no custo. Há muito dinheiro gasto em óticas onde o DAC teria funcionado.

Regras que se mantêm em todos os fabricantes:

• DAC dentro de um único rack. O cobre passivo em 100GBASE-CR4 é fiável até 3 m e está especificado até 5 m com variantes ativas. Em 400G (100G PAM4 por lane) o limite prático são 2 m em passivo — existem DACs de 3 m, mas a integridade do sinal torna-se frágil com as curvaturas do cabo.
• AOC para percursos de 5–30 m, sobretudo entre racks adjacentes. O transcetor está colado à fibra, por isso uma extremidade com defeito significa deitar fora o cabo inteiro.
• Óticas SR + MMF para percursos dentro da sala acima de 30 m ou onde já existe cablagem estruturada. A OM5 dá mais ~50% de alcance face à OM4 em 100 GbE SR e é o que deve passar em instalações novas.
• Óticas LR + SMF para atravessar edifícios ou salas. Exagero dentro de um único cluster de 4 racks.

Contas de comprimento de cabo para um cluster de 4 racks. Uma fila de quatro racks de 42U, cada um com ~600 mm de largura e ~100 mm de folga entre racks. Do switch top-of-rack no topo do rack 1 até uma NIC na base do rack 4: ~2.1 m na horizontal + ~2 m na vertical = ~4 m de percurso com folga. A 100 GbE está no limite do DAC; a 400 GbE já passou dele. Para qualquer cluster com mais de ~2 racks a 400 GbE, planeie AOC ou óticas. Este é o erro de especificação mais comum em orçamentos multi-rack — assumir que o DAC chega porque "os racks estão mesmo ao lado uns dos outros".

Ligação ponta a ponta de 100 GbE, salto intra-rack de 2 m, meados de 2026: par de ConnectX-6 Dx ~€2400 + duas portas de switch amortizadas ~€1500 + DAC QSFP28 de 2 m ~€90 = ~€4000 por ligação. A mesma ligação a 400 GbE (par de ConnectX-7, portas de switch de 400 GbE, DAC QSFP-DD de 2 m) fica mais ou menos em €14k — 4× a largura de banda por ~3.5× o custo. A economia é razoável; a questão é se a carga de trabalho precisa disso.

Panorama dos switches

O mercado de switches Ethernet para IA em 2026 divide-se em três grupos evidentes.

Duas opiniões assumidas:

• Para clusters de treino de 4 a 8 nós a 100 ou 400 GbE, um único Spectrum-X SN5600 ou Arista 7060X4 é a resposta certa. Um switch, um domínio de falha, sem Clos, com modelos RoCE fornecidos pelo fabricante. O SN5600 dá 64×800 GbE em 2U, com 51.2 Tb/s agregados e buffers profundos afinados para IA; o 7060X4 dá 32×400 GbE em 1U com ~700 ns de latência cut-through por bastante menos dinheiro, quando não precisa de 800 GbE.
• Para 16+ nós, planeie um Clos L3 encaminhado com duas spines, BGP unnumbered entre leaves e spines e ECMP pelas spines. O N08 trata da mecânica dos uplinks; o N04 trata da escolha da topologia.

MTU e tramas jumbo

A MTU Ethernet por omissão são 1500 bytes. A 100 GbE isso dá ~8.3 milhões de pacotes por segundo por fluxo, cada um a pagar o custo por pacote do kernel. A MTU 9000 corta a taxa de pacotes em 6×, baixa a sobrecarga de CPU na mesma proporção e é basicamente obrigatória em qualquer tecido de rede de IA.

No caso específico do RoCEv2, a MTU ao estilo IB é escolhida a partir do maior tamanho que cabe dentro da MTU Ethernet. Uma Ethernet de 9000 bytes dá ao RoCE uma MTU de 4096 bytes — o valor que todas as pilhas NCCL e RDMA esperam. Se ficar nos 1500 fica com uma MTU RoCE de 2048 bytes e uma perda de desempenho notória em todos os coletivos.

Três coisas a saber:

• Tem de coincidir de ponta a ponta. Um único equipamento com MTU 1500 no caminho fragmenta em silêncio e afunda o débito. Defina-a em todas as NICs, todas as portas de switch e todos os saltos de router na VLAN de IA.
• Mantenha as tramas jumbo confinadas à VLAN de IA. A rede corporativa não vai correr MTU 9000 sem problemas. O plano de gestão fica nos 1500.
• Verifique com ip link e tracepath, não confiando na configuração. O número de clusters em que alguém pôs 9000 nas NICs e se esqueceu das portas do switch é embaraçoso.

Ethernet com perdas vs sem perdas — uma antevisão

O TCP/IP simples sobre Ethernet é com perdas: os switches descartam pacotes quando as filas enchem, o TCP retransmite e o débito recua. Ótimo para tráfego web em streaming, fatal para RDMA — a perda de um único pacote num allreduce RoCE mata a transferência inteira e obriga o NCCL a esgotar o tempo de espera.

A solução é a Ethernet sem perdas, conseguida com dois mecanismos a trabalhar em conjunto:

• PFC (Priority Flow Control, 802.1Qbb) — pausa por prioridade. Quando o buffer do switch para a prioridade 3 (a prioridade de RDMA por convenção) enche, envia uma trama de pausa para a porta a montante. Travão de emergência de curto prazo.
• ECN (Explicit Congestion Notification) — os switches marcam pacotes em filas que estão a encher, o recetor devolve um CNP e o emissor abranda. Controlo de congestão de longo prazo.

Juntos formam o DCQCN — Data Center Quantized Congestion Notification — que é o ciclo de controlo RoCEv2 padrão nos tecidos de rede Ethernet de IA modernos. O ECN faz o trabalho na maior parte do tempo; o PFC só dispara quando o ECN não consegue reagir com rapidez suficiente.

A conclusão para este artigo: se vai correr RoCE, o seu switch tem de suportar PFC e ECN na prioridade de RDMA, e a NIC tem de estar configurada para os marcar e respeitar. Comprar um switch a um fabricante com modelos RoCE documentados (NVIDIA Spectrum, Arista, Cisco Nexus 9000) poupa uma semana de configuração. O N02 faz a comparação com a InfiniBand; o N07 aprofunda o lado do controlo de congestão.

Profundidade de buffer — raso vs profundo

O outro eixo nos switches de IA é a profundidade do buffer. O AllReduce é muitos-para-um em cada iteração — todos os nós do anel ou da árvore convergem para um nó no mesmo instante. Isso chama-se incast e esmaga switches com buffers rasos.

• Switches com buffer raso (Tomahawk mais antigos, equipamento empresarial genérico) têm 4–32 MB de buffer no total. Baratos, de baixa latência, bons para tráfego este-oeste numa rede corporativa. Descartam pacotes à primeira vez que o incast aparece.
• Switches de IA com buffer profundo (Jericho3-AI, Spectrum-X, algumas placas de linha 7800R3) têm centenas de MB a vários GB de buffer. Absorvem a rajada de incast e seguram os pacotes enquanto o DCQCN trava os emissores.

Num cluster de 2 nós, a profundidade do buffer é irrelevante. Com 8+ nós a fazer allreduce denso, os buffers profundos são a diferença entre um tecido de rede saudável e um que descarta pausas PFC e estagna. É uma razão real para comprar switches de classe IA em vez de genéricos.

Opinião honesta — isto aplica-se à sua configuração?

Um servidor Kentino K-AI de um só nó a fazer inferência ou fine-tuning de nó único não precisa de nada disto. As GPUs falam por PCIe e NVLink; a ligação Ethernet serve para receber prompts, devolver tokens e ler datasets. Um par de portas SFP28 de 25 GbE na NIC integrada do host chega perfeitamente.

Está a ler isto porque está a planear dois ou mais nós. A matriz:

• 1 nó: 10 ou 25 GbE integrados. Sem atualização.
• 2–4 nós, fine-tuning: 100 GbE com ConnectX-6 Dx, um switch, RoCE configurado. ~€4k por ligação.
• 4–8 nós, treino de 70B+: 100 ou 200 GbE com ConnectX-7 se houver PCIe Gen 5. Um único switch Spectrum-X SN5600 ou Arista 7060X4.
• 8–16 nós, treino denso: 200 ou 400 GbE, Clos L3 encaminhado com duas spines, switches de buffer profundo.
• 16+ nós: já ultrapassa a gama habitual da Kentino. Use a arquitetura de referência da NVIDIA (Spectrum-X, BlueField-3 ou ConnectX-8) e um consultor.

---

Isto faz parte da Kentino Wiki, uma série de referência sobre computação de IA, robótica e os sistemas que as ligam. Comentários e correções são bem-vindos em info@kentino.com.