Risers de GPU em servidores de IA: quando usar e o que falha

Um riser de GPU é o cabo, a placa ou o conjunto que desloca uma slot PCIe do sítio onde a placa-mãe a coloca para o sítio onde a GPU tem de ficar. Num desktop com uma só placa gráfica, ninguém pensa em risers. Num rack 4U com quatro RTX 5090, ou num EPYC de duplo socket com oito placas, quase não se pensa noutra coisa. O riser é onde a integridade do sinal morre em silêncio, onde a ligação volta a treinar discretamente para Gen3, e onde uma montagem que corre bem na bancada começa a perder uma GPU por dia em produção.

Esta é a referência prática: o que são os risers, quando são necessários, as quatro categorias, porque é que a Gen5 muda tudo, como diagnosticar e o que especificar.

Porque é que os risers existem

Uma placa-mãe coloca as slots PCIe x16 a cerca de 20 mm de distância. Uma GPU de dupla slot tem 40–70 mm de espessura. As contas não batem certo. A partir do momento em que se quer mais do que duas placas num chassis, placas de 3 slots ou uma orientação de fluxo de ar frente-para-trás em rack, as GPU têm de ser fisicamente deslocadas.

Três razões práticas para uma montagem precisar de risers:

Encaixe no chassis. Um chassis de rack 4U assenta as GPU na horizontal, paralelas à placa-mãe, ao longo do percurso do ar. As slots PCIe da placa-mãe estão perpendiculares a isso. Todas as GPU num chassis de rack de montagem horizontal estão num riser, sem exceção.

Isolamento térmico. Mesmo quando as slots encaixam fisicamente, juntar GPU costas com costas faz com que cada placa aspire o ar de exaustão da seguinte. Um riser curto separa-as 40–80 mm e dá a cada placa o seu próprio plano de admissão. Em placas de 350 W, essa é a diferença entre 72 °C e 86 °C em carga sustentada.

Espaçamento multi-GPU. Uma montagem de 8 GPU num chassis 4U/5U não consegue usar de todo as slots da placa-mãe. A placa-mãe expõe quatro ou cinco slots x16; o chassis tem de apresentar oito em fila ao longo do percurso do ar. O sistema de risers é toda a interface mecânica entre os dois.

As quatro categorias que realmente se encontram

Categorias de risers ordenadas por comprimento de cabo e adequação à Gen5. O MCIO é o único homologado para montagens de produção Gen5 com 8 GPU.

1. Risers de PCB rígido (adaptadores 1U / 2U)

PCB plano que encaixa na slot da placa-mãe e apresenta slots PCIe em ângulo reto ou deslocadas 30–60 mm. Padrão em servidores 1U/2U densos. Curto, passivo, projetado de fábrica, específico do chassis. Se o chassis vier com um, use-o.

2. Risers ribbon e flex

A peça clássica do DIY. Cabo plano flexível, 150–300 mm de comprimento, slot PCIe numa ponta, conector de bordo PCIe na outra. Abaixo de €100. Omnipresente em montagens de mineração de criptomoedas, ainda comum em montagens de IA económicas.

Os risers ribbon funcionam em Gen3 sem dramas. Em Gen4 funcionam na maior parte das vezes se forem curtos (abaixo de 200 mm) e o ambiente de EMI estiver limpo. Em Gen5 são uma moeda ao ar mesmo a 100 mm — a construção do cabo nunca foi pensada para 32 GT/s.

Já vimos risers ribbon Gen4 treinarem perfeitamente a x16 na bancada e depois caírem para Gen3 em carga, assim que o chassis aquece. Já vimos o mesmo riser funcionar em EPYC Genoa e não conseguir treinar acima de Gen3 em EPYC Turin, porque o PHY Gen5 do Turin trabalha com margens temporais mais apertadas.

Veredicto: adequado para Gen3. Aceitável em percursos Gen4 curtos, se o fabricante o especificar. Inaceitável para produção em Gen5.

3. Risers ativos / com retimer

Um retimer é um chip colocado em linha no riser que recupera o relógio e regenera um sinal limpo. Em termos de integridade de sinal, é como se reduzisse para metade o comprimento do cabo — 400–600 mm com um retimer a meio do percurso, onde um riser passivo morre aos 200 mm.

Acrescenta €150–€300 por GPU e uma latência de poucos nanossegundos (irrelevante para computação). É a resposta padrão para «cabo longo, Gen4/Gen5 tem de funcionar» — a maioria dos kits Gen5 de fábrica usa-os.

4. Ligações por cabo MCIO e SlimSAS

O MCIO (Mini Cool Edge IO) ganhou a batalha da cablagem de servidores em Gen5. O SlimSAS (SFF-8654) é o primo mais antigo, comum em Gen4. Ambos substituem o conector de bordo PCIe por um conector de cabo em ambas as pontas — a placa-mãe expõe portas MCIO, o PCB do riser expõe portas MCIO, e o cabo liga-as.

O cabo MCIO é um cabo de par diferencial concebido para 32 GT/s. 300–500 mm a Gen5 x16 é rotina. Impedância controlada, blindagem adequada, conectores com encaixe firme. O conector de bordo PCIe — uma norma com 25 anos — é o ponto fraco de qualquer riser ribbon; o MCIO elimina-o.

Cadeia típica de cablagem MCIO Gen5 com 8 GPU: placa-mãe → switch/placa de bifurcação → placas riser de GPU → GPU.

Veredicto: MCIO em Gen5, ponto final. Se um fornecedor estiver a vender uma montagem Gen5 de 8 GPU sem MCIO, questione-o.

Integridade de sinal, Gen4 vs Gen5

Em Gen3 é possível fazer quase tudo com um cabo ribbon. Em Gen5 não é, e os modos de falha nem sempre são ruidosos.

Padrão mais comum: a ligação treina no mais baixo do que a slot e o dispositivo reportam após a negociação LTSSM (Link Training and Status State Machine). Se a qualidade do sinal for marginal, vai voltar a treinar — discretamente, normalmente durante a primeira carga de trabalho pesada da GPU — e estabilizar em Gen4 ou Gen3. O sistema continua a funcionar. A largura de banda PCIe reduz-se a metade. Os benchmarks parecem errados e ninguém sabe porquê.

Modos de falha comuns

Por ordem aproximada da frequência com que afetam uma montagem em rack de 4 ou 8 GPU:

Queda de treino para Gen3 em carga. A placa arranca em Gen4 x16; o chassis aquece, a resistência de contacto do conector sobe, a margem de olho fecha-se, a ligação volta a treinar e estabiliza em Gen3. Os testes de largura de banda mostram ~12 GB/s onde se esperavam 24 GB/s. Causa: riser passivo marginal, normalmente um ribbon longo.

Desligamento intermitente. A GPU desaparece do nvidia-smi a meio do trabalho, normalmente com mensagens AER. Assentamento do conector sob ciclos térmicos, por vezes um problema de alimentação, por vezes uma soldadura marginal que abre com o calor.

A largura cai de x16 para x8 ou x4. Uma ou duas lanes demasiado ruidosas para negociar; a ligação sobe apenas com as que sobrevivem. Visível no lspci.

Falha de treino no arranque. A placa simplesmente não aparece. Assentamento do cabo ou riser avariado.

Erros AER corrigíveis a inundar o dmesg. O hardware corrige erros em tempo real; está a um passo da queda de treino. É um tiro de aviso — resolva antes que piore.

Falha relacionada com a alimentação. Alguns risers fornecem os 75 W da slot através do cabo. Condutores finos fazem com que uma GPU em carga sustentada tenha uma quebra breve de tensão, a tensão cai e a ligação cai. Raro em risers de fábrica, comum em cabos ribbon baratos.

Como diagnosticar

Três ferramentas Linux padrão: nvidia-smi, lspci, dmesg.

Largura e velocidade reais da ligação:

$ nvidia-smi --query-gpu=index,pcie.link.gen.current,pcie.link.width.current --format=csv
0, 4, 16
1, 4, 16
2, 3, 16     ← queda de treino
3, 4, 16

A GPU 2 está em Gen3 e não em Gen4 — o seu riser precisa de ser investigado.

Do lado do PCIe:

$ sudo lspci -vvv -s <bus:dev.fn> | grep -E "LnkCap|LnkSta"
    LnkCap: Speed 32GT/s, Width x16
    LnkSta: Speed 16GT/s (downgraded), Width x16

(downgraded) é o sinal revelador — a ligação a funcionar abaixo da sua capacidade.

Registo do kernel para erros AER:

$ sudo dmesg -T | grep -iE "aer|pcie"
pcieport 0000:60:01.0: AER: Corrected error received: 0000:61:00.0

Os erros corrigidos ainda não são fatais, mas indicam uma ligação marginal. Aplique carga sustentada e observe a taxa; se subir, o riser está a falhar.

Para distinguir placa de riser, troque a GPU suspeita para uma slot sabidamente boa. Se o sintoma acompanhar a placa → é a placa. Se ficar na slot → é o riser.

Exemplos concretos de montagens reais

4 GPU: 4× RTX 5090, EPYC Genoa, chassis 4U

A placa-mãe expõe 4× Gen5 x16. GPU montadas na horizontal num berço a 220 mm da slot. Kit de fábrica do fornecedor: cabos MCIO Gen5 para pequenos PCB riser que voltam a apresentar o conector de bordo PCIe junto à GPU.

Resultado: 4× Gen5 x16, zero AER ao longo de 72 horas de execução do Qwen2.5-VL 72B. Largura de banda PCIe por GPU de 47–49 GB/s (teórico Gen5 x16 ≈ 63 GB/s; real ≈ 50 GB/s depois do overhead do protocolo). Limpo porque usámos o kit do fornecedor tal como especificado.

8 GPU: 8× RTX Pro 6000 Blackwell, EPYC Turin Dual, chassis 4U

Dois CPU, cada um com 4× root complexes Gen5 x16 encaminhados por MCIO para um PCB a meio do chassis. Bifurcação direta — cada GPU recebe x16 do CPU. Cabo MCIO por GPU ≈ 280 mm.

Isto está no limite daquilo que é um MCIO limpo em Gen5. Dois dos oito cabos do kit do fornecedor têm retimers em linha; os outros seis são passivos. Os dois mais afastados dos CPU precisam dessa margem, os seis mais próximos não. O fornecedor caracterizou isto numa bancada com carga térmica antes de expedir.

Resultado: 8× Gen5 x16 estável. Potência à tomada de 4.1 kW em carga sustentada. Sem novos treinos ao longo de 48 horas.

A mesma montagem, com risers DIY

Mesmo chassis e mesmas GPU, mas com risers ribbon «certificados Gen5» de um fornecedor genérico:

• Duas das oito GPU treinaram em Gen4 x16 em vez de Gen5.
• Uma GPU caiu intermitentemente em carga sustentada.
• ~15% de degradação de débito face à montagem com kit de fábrica.

Poupança: ~€600. Custo de depuração: três dias-engenheiro. Penalização de débito: permanente. Não faça isto.

A questão da alimentação com PSU dupla

Um rack de 4 GPU consome 1.8–2.4 kW em carga; um de 8 GPU consome 3.5–4.5 kW. A maioria dos chassis de rack deste nível inclui 2× fontes de alimentação ATX de 2 kW.

A PSU dupla num chassis Kentino AI é entrega repartida, não redundância N+1. Cada fonte de alimentação alimenta uma parte definida do sistema — normalmente a PSU 1 alimenta quatro GPU e a placa-mãe, e a PSU 2 alimenta as outras quatro GPU (ou quatro GPU mais a gaiola de discos). Se uma fonte falhar, perde-se a parte que ela alimentava. Não há meio-termo. Sem partilha de rails, sem failover.

Isto é relevante para os risers: os 75 W do lado da slot que alguns risers fornecem vêm da fonte que alimenta esse grupo. Misturar risers entre grupos de PSU de uma forma não prevista pelo fabricante introduz problemas de loop de terra e de ruído na ligação PCIe. Mais uma razão para usar o kit de fábrica. Consulte W04 para o panorama completo do dimensionamento de fontes.

Porque é que os kits de risers testados de fábrica ganham ao DIY

Um fabricante de chassis que expede um rack de IA de 4 ou 8 GPU já fez o burn-in de dezenas a centenas dessas montagens. O kit de risers foi sujeito a ciclos térmicos, testado em ligação na pior temperatura ambiente, validado contra o PHY específico da placa-mãe e, normalmente, revisto uma vez quando o primeiro lote encontrou um caso-limite. Um ribbon DIY de um fornecedor genérico foi testado por alguém com um osciloscópio à temperatura ambiente, numa única placa de referência — quando chegou a ser testado.

Diferença de preço: algumas centenas de euros no total da montagem. Diferença de fiabilidade: enorme. Todas as montagens Kentino AI usam kits de risers especificados pelo fabricante. Experimentámos a alternativa uma vez, a pedido de um cliente, e custou dias de depuração que o cliente acabou por pagar na mesma. A garantia também conta — uma GPU que avaria num riser não homologado nem sempre é um caso de garantia.

O MCIO é o caminho a seguir em Gen5

A conclusão numa linha: em Gen5, o conector de bordo PCIe é o elo fraco, e o MCIO substitui-o. Todos os racks Gen5 de 8 GPU que hoje valem a pena especificar usam MCIO de ponta a ponta. As montagens Gen4 ainda podem usar SlimSAS ou MCIO curto; os cabos ribbon Gen3 servem apenas para hardware Gen3.

Ao avaliar a montagem Gen5 de 8 GPU de um fornecedor, faça três perguntas:

1. Como é a cablagem entre o PCIe da placa-mãe e a GPU? (Tem de mencionar MCIO.)
2. Há cabos equipados com retimer — quais e porquê? (Um fornecedor que conhece a sua montagem dá uma resposta concreta.)
3. Qual é o estado da ligação e a taxa de AER medidos num chassis totalmente povoado e com carga térmica? (8× Gen5 x16, AER zero ou quase zero ao longo de mais de 24 horas.)

Respostas vagas significam que o fornecedor não fez o trabalho.

Isto faz parte da Kentino Wiki, uma série de referência sobre computação de IA, robótica e os sistemas que os ligam. Comentários e correções são bem-vindos em info@kentino.com.