Hemos construido un servidor de IA de 576 GB que ejecuta GLM 5.2 en su propio edificio

El servidor de IA on-premise de Kentino monta seis tarjetas NVIDIA RTX PRO 6000 Blackwell Max-Q, dos CPU EPYC y la redundancia suficiente para sobrevivir a que le arranquen una fuente de alimentación: así, los modelos de primera línea se ejecutan en sus instalaciones y no en la nube de otro.

Todo el mundo conoce One Miners. Ahora le presentamos Kentino.

Si lleva un tiempo en nuestro mundo, conoce One Miners. Kentino es su empresa hermana, y Kentino fabrica máquinas: servidores de IA, estaciones de trabajo, PC gaming… más o menos cualquier cosa que se parezca a la hoja de especificaciones que tiene en la cabeza.

Este artículo trata de uno de esos montajes. Es un sistema que ensamblamos para un cliente, así que no diremos a quién va destinado. Lo que sí podemos hacer es abrir la tapa y enseñarle exactamente qué lleva dentro un servidor de IA on-premise cuando se dejan de hacer concesiones.

La propuesta: IA de la clase de Claude que nunca sale del edificio

La idea de esta máquina es sencilla. Dispone de un asistente de la misma categoría que Claude Opus o GPT, y funciona en sus instalaciones. Su oficina, su sala de racks o su casa, si es ahí donde trabaja. Cada prompt, cada documento y cada línea de código que pegue en él se queda dentro de su propia red.

Ese es el trato: sin una factura por token que crezca a medida que la herramienta se vuelve más útil, sin colas detrás de otros inquilinos y sin un tercero custodiando su ventana de contexto. El hardware es suyo, así que la carga de trabajo también.

Por dentro: seis GPU profesionales, 96 GB cada una

Al abrir el chasis, lo primero que se ve es el muro de GPU: tres tarjetas a un lado y otras tres al otro. Cada una es una NVIDIA RTX PRO 6000 Blackwell Max-Q con 96 GB de VRAM. Seis tarjetas, unos 576 GB de memoria de vídeo en una sola máquina.

Esta configuración lleva seis, pero el chasis no está lleno: admite hasta ocho tarjetas, lo que deja margen para añadir GPU más adelante o para dedicar las ranuras a otra cosa, como red de fibra. Detrás de la placa de GPU hay dos procesadores AMD EPYC 7643 alimentándolas.

Las piezas menos vistosas son las que importan

Una máquina así vive o muere por las especificaciones aburridas. Memoria: 512 GB de DDR4 instalados como 8x LRDIMM de 64 GB, ampliables a 1.5 TB cuando la carga de trabajo lo pida. Almacenamiento: una unidad de sistema de 2 TB más 4 TB de NVMe, porque los pesos del modelo tienen que salir del disco rápido.

La alimentación corre a cargo de cinco fuentes redundantes de 2000 W. Saque una a mitad de ejecución y el servidor sigue funcionando: dejará clara su disconformidad, pero sigue funcionando. La refrigeración son doce ventiladores de alta presión a 15,000 RPM, intercambiables en caliente, dispuestos en filas a lo ancho del chasis. Puede arrancar un ventilador averiado con la máquina en carga, poner uno nuevo, cerrar y marcharse. Chilla unos segundos. Ese es todo el procedimiento de mantenimiento.

La placa base incorpora gestión remota dedicada, doble LAN de 10 Gigabit, VGA integrada para un terminal, USB 3.2 y un botón de encendido principal y otro secundario, para no tener que sacar nada del rack al reiniciarla.

GLM 5.2 ejecutándose en local

La carga de trabajo estrella es GLM 5.2 en Q4: unos 341 GB de pesos del modelo, residentes en las seis GPU. Es un modelo genuinamente grande, y vive en su edificio. Aquí también corren otros modelos abiertos; hay VRAM de sobra para mantener varios cargados o para alternar entre ellos.

El arranque en frío no es instantáneo, y preferimos decírselo a que lo descubra usted. Entre la BIOS enumerando tanto hardware, Linux levantando un árbol de dispositivos enorme y los 341 GB viajando del SSD a la VRAM, la espera hasta el primer token se mide en minutos. Una vez caliente, no existe una única cifra de rendimiento, y quien le dé una se está saltando la pregunta. Depende de tres cosas: cuántas peticiones hay en vuelo, si la decodificación especulativa está activada y si el modelo cabe en una sola tarjeta.

Con GLM 5.2 repartido entre las seis GPU: la decodificación pura con una sola petición y sin decodificación especulativa ronda los 25–40 tokens/sec; eso es lo que dice la aritmética y es la cifra que figura en nuestra página pública de producto. Active la decodificación especulativa, con una petición a la vez, y se sitúa en 40–60. Ese es el régimen del vídeo, y por eso la ejecución ante la cámara se queda en unos 42 tokens/sec. Añada concurrencia sobre la decodificación especulativa y la misma máquina da 60–120.

Todas esas cifras son de un modelo grande, con 341 GB repartidos en seis tarjetas. Baje a un modelo que quepa dentro de una sola GPU de 96 GB y pasará a miles de tokens por segundo agregados, porque estará ejecutando seis instancias independientes en lugar de una repartida. El mismo hardware, un orden de magnitud de diferencia, que es justo la razón por la que una única cifra titular no significa nada.

Más allá del chat y del código, el mismo silicio es una potente máquina de generación de imágenes y también sirve para el trabajo de vídeo. La diferencia práctica frente a un endpoint en la nube no es solo la velocidad: es que nadie va por delante en la cola.

Por qué Max-Q y qué cuesta realmente esa renuncia

Un detalle que conviene contar con honestidad: estas son las variantes Max-Q de la RTX PRO 6000. Max-Q funciona con una potencia de placa de 300 W. La tarjeta que no es Max-Q es una pieza de 600 W que se puede limitar a unos 400 W desde el controlador.

Max-Q cede un poco de caché en el chip a cambio de ese consumo mucho menor. En un chasis de seis tarjetas, esa renuncia es la razón de que el presupuesto térmico y eléctrico cuadre. Es la clase de decisión que se toma una sola vez, al montar la máquina, y con la que después se vive a gusto, siempre que uno supiera que la estaba tomando.

Lo próximo, y cómo conseguir una

Durante la grabación había en el banco un par de cosas más que no pertenecen a este servidor: una RTX 4090 y una NVIDIA CMP 170HX, una tarjeta de minería de la era Ethereum, listada a €1,600 en nuestra web. Esa tarjeta tendrá un análisis y unas pruebas en condiciones en el próximo vídeo, así que no la vamos a explicar a medias aquí.

También estamos preparando una tabla de benchmarks de verdad con varios modelos abiertos. Números, metodología y nada de palabrería. Eso también llega en la próxima entrega.

Si quiere una máquina como esta —o una versión más pequeña, o una estación de trabajo, o un equipo gaming—, de eso se encarga Kentino. Explore la colección de servidores de IA, o cuéntenos qué necesita y se la especificamos.