Construímos um servidor de IA de 576 GB que corre o GLM 5.2 no seu edifício

O servidor de IA on-premise da Kentino reúne seis placas NVIDIA RTX PRO 6000 Blackwell Max-Q, dois CPU EPYC e redundância suficiente para sobreviver à remoção de uma fonte de alimentação — para que modelos de topo corram no seu espaço e não na cloud de outra pessoa.

Toda a gente conhece a One Miners. Agora conheça a Kentino.

Se anda pelo nosso mundo há algum tempo, conhece a One Miners. A Kentino é a sua empresa irmã e constrói máquinas: servidores de IA, estações de trabalho, PC de jogos — praticamente aquilo que a ficha técnica que tem na cabeça disser.

Este artigo é sobre uma dessas máquinas. É um sistema que montámos para um cliente, pelo que não dizemos para quem vai. O que podemos fazer é abrir a tampa e mostrar exatamente o que entra num servidor de IA on-premise quando se deixa de fazer cedências.

A proposta: IA da classe Claude que nunca sai do edifício

O objetivo desta máquina é simples. Tem um assistente da mesma classe do Claude Opus ou do GPT — e corre nas suas instalações. No seu escritório, na sua sala de racks, em sua casa se for aí que trabalha. Cada prompt, cada documento, cada linha de código que lá cola fica dentro da sua própria rede.

É esta a proposta: sem fatura por token que cresce à medida que a ferramenta se torna útil, sem fila atrás de outros inquilinos e sem terceiros a guardar a sua janela de contexto. O hardware é seu, logo a carga de trabalho é sua.

Por dentro: seis GPU profissionais, 96 GB cada

Abra o chassis e a primeira coisa que vê é a parede de GPU — três placas de um lado, mais três do outro. Cada uma é uma NVIDIA RTX PRO 6000 Blackwell Max-Q com 96 GB de VRAM. Seis placas, cerca de 576 GB de memória de vídeo numa única máquina.

Esta configuração leva seis, mas o chassis não está cheio. Aceita até oito placas, o que deixa espaço para acrescentar GPU mais tarde ou para usar as slots noutra coisa qualquer, como rede em fibra. Atrás da placa dos GPU estão dois processadores AMD EPYC 7643 a alimentá-los.

As peças menos glamorosas são as que contam

Uma máquina destas vive ou morre pelas especificações aborrecidas. Memória: 512 GB de DDR4 instalados como 8x LRDIMM de 64 GB, expansíveis até 1.5 TB quando a carga de trabalho o exigir. Armazenamento: um disco de sistema de 2 TB mais 4 TB de NVMe, porque os pesos dos modelos têm de sair do disco depressa.

A alimentação são cinco fontes redundantes de 2000 W. Retire uma a meio de uma execução e o servidor continua — vai fazer saber o seu desagrado, mas continua. O arrefecimento são doze ventoinhas de alta pressão a 15,000 RPM, hot-swap, dispostas em filas ao longo do chassis. Pode arrancar uma ventoinha avariada com a máquina em carga, meter uma nova, fechar e ir embora. Grita consigo durante uns segundos. É este todo o procedimento de manutenção.

A placa-mãe traz gestão remota dedicada, duas portas LAN de 10 Gigabit, VGA integrada para um terminal, USB 3.2 e um botão de alimentação primário e outro secundário, para não ter de desmontar nada do rack só para reiniciar a máquina.

Correr o GLM 5.2 localmente

A carga de trabalho principal é o GLM 5.2 em Q4 — cerca de 341 GB de pesos do modelo, residentes nos seis GPU. É um modelo genuinamente grande e está no seu edifício. Outros modelos abertos também correm aqui; há VRAM mais do que suficiente para manter vários carregados ou para alternar entre eles.

Um arranque a frio não é instantâneo, e preferimos dizê-lo a deixar que o descubra. Entre a BIOS a enumerar todo este hardware, o Linux a levantar uma árvore de dispositivos muito grande e depois a transmissão de 341 GB do SSD para a VRAM, espera-se na ordem dos minutos até ao primeiro token. Uma vez quente, não há um único número de débito, e quem lhe apresentar um está a fugir à pergunta. Depende de três coisas: quantos pedidos estão em curso, se a descodificação especulativa está ligada e se o modelo cabe numa só placa.

Para o GLM 5.2 fragmentado pelos seis GPU: a descodificação pura com uma única sessão e sem descodificação especulativa ronda os 25–40 tokens/seg — é essa a aritmética e é esse o valor na nossa página pública de produto. Com a descodificação especulativa ligada, ainda com um pedido de cada vez, fica em 40–60. É este o regime do vídeo, e é por isso que a execução em câmara chega aos cerca de 42 tokens/seg. Junte concorrência à descodificação especulativa e a mesma máquina faz 60–120.

São todos números de modelo grande, com 341 GB distribuídos por seis placas. Passe para um modelo que caiba dentro de um único GPU de 96 GB e entra nos milhares de tokens por segundo agregados, porque passa a correr seis instâncias independentes em vez de uma fragmentada. O mesmo hardware, uma ordem de grandeza de diferença — e é precisamente por isso que um único número de destaque não significa nada.

Para além de conversa e código, o mesmo silício é uma máquina séria de geração de imagem e também aguenta trabalho de vídeo. A diferença prática face a um endpoint na cloud não é só a velocidade — é que não há ninguém à sua frente na fila.

Porquê Max-Q e o que custa realmente essa troca

Um pormenor sobre o qual vale a pena ser honesto: estas são as variantes Max-Q da RTX PRO 6000. A Max-Q funciona com uma potência de placa de 300 W. A versão não Max-Q é uma peça de 600 W que se pode limitar a cerca de 400 W no controlador.

A Max-Q troca um pouco de cache no chip por um consumo muito mais baixo. Num chassis de seis placas, é essa troca que faz com que o orçamento térmico e elétrico funcione de todo. É o tipo de decisão que se toma uma vez, na montagem, e com a qual depois se vive bem — desde que se saiba que a está a tomar.

A seguir — e como obter um

Havia mais umas coisas na bancada durante esta filmagem que não pertencem a este servidor. Uma RTX 4090 e uma NVIDIA CMP 170HX — uma placa de mineração da era Ethereum, listada a €1,600 no nosso site. Essa placa terá uma análise e testes a sério no próximo vídeo, por isso não a vamos explicar pela metade aqui.

Estamos também a preparar uma tabela de benchmarks a sério com vários modelos abertos. Números, metodologia, sem conversa vaga. Isso também vem a seguir.

Se quiser uma máquina como esta — ou uma versão mais pequena, ou uma estação de trabalho, ou uma montagem para jogos — é isso que a Kentino faz. Explore a coleção de Servidores de IA, ou diga-nos o que precisa e nós tratamos da especificação.