Kentino AI 576 Genoa RTXPro6000 12000TOPS — Servidor de IA Frontier con 6× RTX Pro 6000 Blackwell Server Edition
Plataforma de nivel empresarial, ensamblada y probada en la UE.
Kentino AI 576 Genoa RTXPro6000 12000TOPS
Servidor de investigación de frontera con 576 GB de VRAM ECC
6x RTX Pro 6000 Server Edition | EPYC Genoa | 12 000 TOPS INT8
Referencias externas publicadas. No medidas en hardware de Kentino.
Plataforma de inferencia de gama frontera en formato rack de 7U con seis tarjetas pasivas NVIDIA RTX Pro 6000 Blackwell Server Edition agrupadas en 576 GB de VRAM ECC, una CPU AMD EPYC 9354 Genoa (32C/64T), 768 GB DDR5-4800 ECC (los 12 canales poblados), arranque NVMe de 4 TB y 5x fuente de alimentación de servidor de 1200 W. El switch Broadcom PCIe Gen5 integrado distribuye de forma uniforme a las 6 ranuras de GPU. DeepSeek V3 Q4 (~404 GB) holgado con contexto largo, Kimi-K2 Q2, Mistral Large 3 Q2-Q3: toda la frontera on-premise.
Hardware
| Componente | Detalle |
|---|---|
| GPU | 6x NVIDIA RTX Pro 6000 Blackwell Server Edition 96 GB ECC (pasivas, 600 W, PCIe 5.0 x16, 2000 TOPS INT8 por tarjeta) |
| Pool de VRAM | 576 GB en total entre 6 tarjetas (sin NVLink: P2P sobre PCIe Gen5 a ~55-60 GB/s por dirección) |
| CPU | AMD EPYC 9354 Genoa (32C/64T, 280 W, 128x líneas PCIe 5.0, DDR5 de 12 canales) |
| Placa base | ASRock Rack GENOAD8X-2T/BCM (SP5 Genoa, switch Broadcom PEX PCIe Gen5 integrado, 12x DDR5, 2x 10 GbE, IPMI) |
| RAM del sistema | 768 GB DDR5-4800 ECC RDIMM (12x 64 GB: todos los canales poblados, ~460 GB/s agregados) |
| Arranque / almacenamiento | NVMe M.2 de 4 TB (PCIe 4.0 x4), dimensionado para alojar checkpoints de frontera |
| Fuente de alimentación | Conjunto de 5x fuente de alimentación de servidor de 1200 W (compatible HP, 6 kW en total) |
| Chasis | Rack de 7U para 8 GPU, capacidad de 10 ranuras PCIe, risers Gen5 activos |
| Refrigeración | Disipador tower SP5 Genoa, 8x ventiladores de chasis de 120 mm, se requiere flujo de aire de centro de datos de delante hacia atrás. Tarjetas GPU pasivas. |
| Red | Doble 10 GbE integrado (Intel X550) |
Consumo eléctrico
- Consumo de GPU: 6 x 600 W = 3 600 W
- Total del sistema a plena carga: ~4 080 W
- Total de las fuentes: 6 000 W (5x 1200 W): 32% de margen
- No se requiere limitar la potencia para inferencia en régimen continuo
Topología de líneas
La GENOAD8X-2T/BCM integra en placa un switch Broadcom PEX PCIe Gen5. Las 128 líneas Gen5 del root del EPYC Genoa alimentan el switch, que las distribuye de forma uniforme a las 6 ranuras de GPU a Gen5 x16 de extremo a extremo mediante risers activos. Topología limpia de root único: el ajuste NUMA es más sencillo que en una configuración de doble socket. Sin NVLink; P2P a ~55-60 GB/s por dirección.
Qué puede ejecutar
Con 576 GB de VRAM ECC agrupada sobre silicio Blackwell con fp8 nativo, este servidor ejecuta toda la frontera china y occidental de pesos abiertos con cuantizaciones de nivel investigación: DeepSeek V3 Q4 (~404 GB) con contexto largo, Kimi-K2 Q2, Mistral Large 3 Q2-Q3, GLM-5 Q2, Qwen3-Coder-480B Q4.
LLM: texto / razonamiento / programación
Frontera china
- DeepSeek V3 / R1 / V3.1 / V3.2 en Q4_K_M (~404 GB) holgado con contexto largo (~5-8 tok/s en instancia única con vLLM TP-6, referencia publicada); fp8 nativo (~670 GB) con desbordamiento a RAM
- Kimi-K2 (Base / Instruct / Thinking) en Q2_K (~375 GB) holgado (~5-8 tok/s en instancia única, referencia publicada)
- GLM-5 / GLM-5.1 (~745B/44B) en Q2_K (~260 GB) holgado; Q3 (~420 GB) con desbordamiento a RAM
- Qwen3-Coder-480B-A35B en Q4_K_M (~270 GB) con contexto largo
- Qwen3-235B-A22B en bf16 (~470 GB) o fp8 (~240 GB)
- ERNIE-4.5-424B-A47B en Q4 (~240 GB) con contexto completo de 128k
- Intern-S1-Pro (1T/22B activos, SAGE) en Q2_K (~325 GB) holgado
- Hunyuan-Large A52B en Q4 (~220 GB); MiniMax-M1 en Q4 (~260 GB)
Frontera occidental
- Mistral Large 3 (675B/41B MoE, Apache 2.0) en Q2-Q3 (~243-317 GB) holgado (~20-30 tok/s en instancia única, referencia publicada)
- Llama 4 Maverick (400B/17B) en Q4_K_M (~232 GB) con contexto largo (~45-55 tok/s en instancia única, referencia publicada)
- Llama-3.1-Nemotron Ultra 253B en fp8 (~253 GB) o bf16 con desbordamiento a RAM
- Grok-1 314B en Q4 (~182 GB); Snowflake Arctic en Q4 (~278 GB)
- DBRX Instruct 132B/36B en bf16 (~264 GB) o fp8 en multiinstancia
- Todos los modelos de la clase 70-120B en bf16 con margen de sobra
Modelos de visión y lenguaje
Qwen3-VL-235B-A22B, VLM insignia; InternVL3.5-241B-A28B Q4 (~135 GB); GLM-4.5V / 4.6V 106B bf16 (~210 GB); Llama 3.2 90B Vision bf16; Pixtral Large 124B fp8; Molmo 72B bf16.
Generación de imagen
HunyuanImage-3.0 nivel Instruct (3x 80 GB): encaja con margen; FLUX.1 [dev] / [schnell] / Kontext en multiinstancia (~15-20 s por imagen de 1024x1024 en una sola RTX Pro 6000 fp8, referencia publicada); SD 3.5 Large; SDXL; AuraFlow; OmniGen; HunyuanImage-2.1; Kolors 2.0.
Generación de vídeo
Wan 2.2 T2V-A14B / I2V-A14B MoE de doble experto bf16 (~54 GB); HunyuanVideo 13B bf16 holgado; Open-Sora 2.0 (11B) bf16; Mochi-1 (10B) fp16; NVIDIA Cosmos Predict 2 hasta 14B; CogVideoX-5B; LTX-Video; Pyramid Flow.
Audio / voz / TTS
Stack completo residente de forma simultánea: Whisper v3 large, Parakeet-TDT 1.1B, Canary 1B, Moshi 7B en tiempo real, Qwen3-Omni, Step-Audio R1, CosyVoice 3.0, Kokoro, Stable Audio Open.
Servicio multimodelo / multiinquilino
- Inferencia de DeepSeek V3 Q4 + imagen FLUX + HunyuanVideo + voz en tiempo real Whisper/Moshi, todo residente a la vez
- 70B en paralelismo de tensores simultáneo con 235B-MoE en dominios PCIe separados a través del switch Broadcom
- Evaluación A/B de investigación: 3 modelos de frontera de pesos abiertos residentes a la vez
Cargas de trabajo objetivo
- Laboratorio de investigación con pesos abiertos de frontera: acceso on-premise a la clase DeepSeek V3 / Kimi-K2 / Mistral Large 3 sin salida a la nube
- Despliegue de IA soberana: residencia de datos en la UE con un stack de modelos Apache 2.0 / MIT
- Plataforma empresarial RAG multimodelo y agéntica: varios modelos MoE de 200-400B residentes
- Evaluación de modelos e investigación en seguridad comparando pesos abiertos de frontera chinos y occidentales
- Inferencia a escala para sectores regulados que exigen aislamiento físico, ECC y PCIe Gen5
Referencias de rendimiento publicadas
Referencias externas | No medidas en hardware de Kentino
| Benchmark | Resultado |
|---|---|
| TOPS INT8 por tarjeta de la RTX Pro 6000 | 2 000 TOPS |
| vLLM: DeepSeek V3 Q4 en 6x RTX Pro 6000 (instancia única) | ~25-40 tok/s |
| vLLM: DeepSeek V3 Q4 en 6x RTX Pro 6000 (lote de 32) | 200-400 tok/s agregados |
| FLUX.1 [dev] fp8 en una sola RTX Pro 6000 | ~15-20 s por imagen de 1024x1024 |
Cifras exactas confirmadas en la fase de PoC. Kentino publicará datos propios tras la primera instalación en cliente.
No es la opción ideal para
- Servicio en producción de Kimi-K2 / DeepSeek V3 en Q4 a velocidad real: dé el salto al Turin dual de 768 GB
- Entrenamiento desde cero de modelos de clase frontera: sin NVLink, solo P2P por PCIe
- Despliegue plug-and-play: servir MoE de frontera requiere un equipo de MLOps experto
Garantía y plazo de entrega
El montaje incluye ensamblaje, configuración de BIOS, instalación de controladores, burn-in, memtest, verificación funcional y puesta a punto del entorno LLM (stack vLLM / SGLang / llama.cpp / CUDA 13 con kernels fp8 de Blackwell). El plazo de entrega depende de la disponibilidad de componentes y se confirma al realizar el pedido.
Complementos recomendados
- NIC NVIDIA ConnectX-5 MCX555A-ECAT de 100 GbE para escalado multinodo
- Segundo NVMe de 4 TB para el conjunto de datos / la biblioteca de modelos
- Armario rack completo de 24U con puerta frontal perforada
- SAI online de 10 kVA
- PDU gestionada
Las preguntas que más nos hacen los compradores antes de pedir un servidor.
¿Cuánto tarda?
Las máquinas construidas con componentes que tenemos en stock se envían rápido; cualquier equipo que requiera una generación concreta de GPU depende del suministro. Le damos una fecha antes de que pague y, si se mueve, se lo decimos en lugar de dejar que lo descubra usted.
¿Se puede cambiar la configuración antes de que lo monten?
Casi siempre. Las GPU, la memoria, el almacenamiento y la refrigeración se eligen para cada pedido, y la configuración indicada es un punto de partida, no un paquete cerrado. Si necesita más VRAM, un almacenamiento más rápido o un enfoque de refrigeración distinto, indíquenoslo antes de realizar el pedido y le presupuestaremos el cambio.
¿Puedo recoger el servidor en persona?
Puede hacerlo. Nuestro almacén está en Praga y la recogida en persona es bienvenida: la mayoría de quienes vienen aprovechan la visita para repasar la máquina con nuestro ingeniero y hacer esas preguntas que resultan incómodas por correo. En los pedidos dentro de la República Checa también intentamos entregar en persona y explicarle la instalación in situ.
¿Puedo hablar con alguien que entienda de verdad la carga de trabajo?
Sí. Contamos con un ingeniero dedicado específicamente a los sistemas de IA, no con un mostrador comercial genérico. Si su pregunta trata sobre tamaños de lote, cuantización, interconexión o dónde estará su cuello de botella, háganosla: esa conversación suele mejorar la configuración.
¿Qué modelo puedo ejecutar en esta configuración?
Sí. Cada máquina se ensambla, se somete a pruebas de burn-in y se evalúa con cargas de trabajo de IA reales antes de enviarse, y sale de nuestras instalaciones con un LLM ya instalado y en funcionamiento. Usted solo tiene que conectarla, enlazarla a su red y ponerse a trabajar: la única decisión que queda es qué proyecto ejecutará primero.
¿Cómo se prueba un servidor antes del envío?
Lo probamos con cargas de trabajo de IA reales, no con puntuaciones sintéticas: rendimiento de inferencia, comportamiento bajo carga sostenida y temperaturas en funcionamiento continuo. Recibirá los resultados de las pruebas junto con la máquina, de modo que el rendimiento prometido sea el rendimiento que usted puede verificar desde el primer día.
¿Llega el servidor listo para funcionar?
Sí. Cada máquina se ensambla, se somete a pruebas de burn-in y se evalúa con cargas de trabajo de IA reales antes de enviarse, y sale de nuestras instalaciones con un LLM ya instalado y en funcionamiento. Usted solo tiene que conectarla, enlazarla a su red y ponerse a trabajar: la única decisión que queda es qué proyecto ejecutará primero.
Se envía desde nuestro almacén de la UE. Los artículos pesados pueden requerir transporte especial: contáctenos para obtener un presupuesto de envío y el plazo de entrega. Garantía limitada de 2 años con soporte RMA avanzado; garantía ampliada disponible.
¿No es exactamente lo que necesita?
Díganos cuál es su carga de trabajo y configuraremos esta plataforma a su medida: GPU, memoria, almacenamiento y refrigeración ajustados a lo que realmente ejecuta.