Kentino AI 384 Rome RTXPro6000 — 4× RTX Pro 6000 Blackwell Server Edition (384 GB de VRAM ECC)
Plataforma de nivel empresarial, ensamblada y probada en la UE.
Kentino AI 384 Rome RTXPro6000 8000TOPS
Servidor de centro de datos con 384 GB de VRAM ECC
4x RTX Pro 6000 Server Edition | EPYC Milan | 8 000 TOPS INT8
Referencias externas publicadas. No medidas en hardware de Kentino.
Un servidor de inferencia de rack 4U con cuatro tarjetas pasivas de centro de datos NVIDIA RTX Pro 6000 Blackwell Server Edition (96 GB ECC cada una) agrupadas en 384 GB de VRAM ECC, una CPU AMD EPYC 7643 Milan (48C/96T), 384 GB DDR4-2666 ECC, arranque NVMe de 2 TB y dos fuentes de alimentación ATX de 2.5 kW sincronizadas. Silicio Blackwell con aceleración fp8 nativa. Refrigeración pasiva con flujo de aire dirigido para chasis de centro de datos. Ejecuta DeepSeek V3 Q3, Mistral Large 3, Qwen3-Coder-480B y todos los grandes modelos frontera de pesos abiertos.
Hardware
| Componente | Detalle |
|---|---|
| GPU | 4x NVIDIA RTX Pro 6000 Blackwell Server Edition 96 GB ECC (disipador pasivo de centro de datos, 600 W TGP, PCIe 5.0 x16, 2000 TOPS INT8 por tarjeta, fp8 nativo) |
| Pool de VRAM | 384 GB ECC agregados entre 4 tarjetas |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128 líneas PCIe 4.0) |
| Placa base | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| RAM del sistema | 384 GB DDR4-2666 ECC RDIMM (6x 64 GB — 2 ranuras DIMM libres para ampliar a 512 GB) |
| Arranque / almacenamiento | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Fuente de alimentación | 2x ATX de 2.5 kW con cable de sincronización de doble fuente (5 kW en total) |
| Chasis | Rack 4U |
| Refrigeración | Disipador torre SP3 (clase Arctic Freezer 4U-M) + flujo de aire dirigido de delante hacia atrás (3x entrada frontal de 120 mm + 1x extracción trasera de 120 mm). Tarjetas GPU pasivas: requiere el flujo de aire de un chasis de centro de datos. |
| Red | Doble 10 GbE integrada (Intel X550) |
Consumo eléctrico
- Consumo de las GPU: 4 x 600 W = 2 400 W
- Total del sistema a plena carga: ~2 775 W
- Total de las fuentes: 5 000 W (dos de 2.5 kW sincronizadas) — 44.5% de margen
- Doble fuente para repartir la entrega de potencia: el fallo de una fuente supone perder 2 GPU o 2 GPU + la placa base
Topología de líneas
La ROMED8-2T expone 7x PCIe 4.0 x16 directos desde el EPYC Milan. Cuatro ranuras ocupadas y tres libres para NIC / almacenamiento / telemetría. La RTX Pro 6000 es silicio compatible con Gen5; en esta plataforma funciona en Gen4 a x16 completo, sin cuello de botella de ancho de banda para inferencia. Sin conmutador PCIe. Sin NVLink.
Qué puede ejecutar
Con 384 GB de VRAM ECC agrupada sobre silicio Blackwell con fp8 nativo, este servidor ejecuta DeepSeek V3 / R1 en Q3 holgadamente en las tarjetas, Mistral Large 3 Q3, GLM-5 Q3, Qwen3-Coder-480B Q3 y Llama 3.3 70B bf16 residente en una sola tarjeta (96 GB por tarjeta).
LLM: texto / razonamiento / programación
Frontera china
- DeepSeek V3 / V3-0324 / V3.1 / V3.2 / R1 / R1-0528 Q3 (~290 GB) holgadamente en las tarjetas (~30-40 tok/s en una sola petición, referencia publicada); fp8 nativo (~670 GB) con desbordamiento a RAM
- Qwen3-Coder-480B-A35B Q3 (~350 GB, justo, con desbordamiento a RAM): agente de programación abierto SOTA (~18-25 tok/s en una sola petición, referencia publicada)
- Qwen3-235B-A22B Q6/Q8 (~200-280 GB) con contexto muy largo y batching multiusuario
- GLM-5 / GLM-5.1 Q3 (~317 GB): frontera china, cercano a Claude Opus 4.6 en programación
- Kimi-K2 UD de 1.58 bits (~240 GB): agente de un billón de parámetros con rendimiento real
- Hunyuan-Large 389B/52B Q4 (~220 GB), fp8 nativo (~390 GB con desbordamiento)
- ERNIE-4.5-424B-A47B Q4 (~240 GB); MiniMax-M1 Q4 (~260 GB) con contexto de 1M
- Llama 3.3 70B bf16 residente en una sola tarjeta (96 GB por tarjeta, sin necesidad de paralelismo de tensores)
Frontera occidental
- Mistral Large 3 (675B/41B MoE, Apache 2.0) Q3 (~317 GB): pesos abiertos occidentales de frontera (~20-30 tok/s en una sola petición, referencia publicada)
- Llama 4 Maverick (400B/17B) Q4 (~232 GB) con un presupuesto KV generoso (~45-55 tok/s en una sola petición, referencia publicada)
- Llama-3.1-Nemotron Ultra 253B Q4-Q6 (~119-207 GB)
- gpt-oss-120b MXFP4 nativo (80 GB) con un enorme margen para flotas concurrentes
- Pixtral Large / Mistral Large 2 bf16 (~248 GB); Devstral 2 123B bf16: lo mejor en programación abierta con 256k
- Llama 3.3 70B bf16 en una sola tarjeta; es posible desplegar 4 modelos de 70B en paralelo
Modelos de visión y lenguaje
Qwen3-VL-235B-A22B bf16 (~240 GB); InternVL3.5-241B-A28B Q4 (~135 GB); Llama 3.2 90B Vision bf16; Pixtral Large 124B bf16 (~248 GB); Qwen3-Omni-30B-A3B; Molmo 72B; ERNIE-4.5-VL; GLM-4.6V 106B bf16 con paralelismo de tensores. El fp8 de Blackwell ofrece ~2x de rendimiento en la inferencia de la torre de visión frente a Ada.
Generación de imágenes
FLUX.1 [dev] / Kontext / Tools con fp8 nativo (~15-20 s por imagen de 1024x1024 en una sola RTX Pro 6000, referencia publicada); SD 3.5 Large; HunyuanImage-2.1 (17B nativo en 2K); HunyuanImage-3.0 80B/13B MoE; AuraFlow; OmniGen; 4 workers de ComfyUI en paralelo.
Generación de vídeo
Wan 2.2 T2V-A14B / I2V-A14B de doble experto bf16; HunyuanVideo 13B bf16 con ambos expertos; Open-Sora 2.0 (11B) bf16; CogVideoX-5B; Mochi-1; LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.
Audio / voz / TTS
- ASR: Whisper v3 large / turbo; Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2/3; Kokoro; Stable Audio Open; XTTS v2; Step-Audio-EditX
- Tiempo real / S2S: Kyutai Moshi; Step-Audio 2 mini / R1; Qwen2.5-Omni-7B
- Música / efectos de sonido: MusicGen / AudioGen / Bark / SeamlessM4T
Servicio multimodelo / multiinquilino
- DeepSeek V3 Q3 + un 70B concurrente + FLUX.1 + Whisper, todos residentes
- Paralelismo de tensores a 4 vías en modelos de clase 350-400B en Q4
- Aislamiento de inquilinos por tarjeta: un Llama 3.3 70B bf16 de 96 GB por tarjeta, 4 silos de inferencia independientes
- RAG multimodelo: lector + reordenador + visión + generador de embeddings en un solo host
Cargas de trabajo objetivo
- Backend de inferencia para modelos frontera de pesos abiertos: DeepSeek V3 Q3, Qwen3-Coder-480B Q3, GLM-5 Q3
- Servicio en producción de agentes multimodales Llama 4 Maverick Q4 con un presupuesto de contexto generoso
- Aislamiento por tarjeta para 4 inquilinos: un Llama 3.3 70B bf16 por inquilino, sin contaminación cruzada
- Servicio de DeepSeek / R1 / Hunyuan en fp8 nativo sobre silicio Blackwell
- Mistral Large 3 Q3 como alternativa occidental Apache-2.0 de pesos abiertos de frontera
Referencias de rendimiento publicadas
Referencias externas | No medidas en hardware de Kentino
| Prueba | Resultado |
|---|---|
| TOPS INT8 por tarjeta RTX Pro 6000 | 2 000 TOPS |
| Ancho de banda de memoria de la RTX Pro 6000 | ~1 800 GB/s por tarjeta |
| vLLM — DeepSeek V3 Q3 en 4x Blackwell PCIe (una petición) | ~30-40 tok/s |
| vLLM — DeepSeek V3 Q3 en 4x Blackwell PCIe (lote de 8) | ~200 tok/s agregados |
| SGLang — Llama 4 Maverick Q4 en 4x Blackwell (una petición) | ~45-55 tok/s |
| llama.cpp — Qwen3-Coder-480B Q3 en 4x Blackwell (una petición) | ~18-25 tok/s |
| FLUX.1 [dev] fp8 en una sola RTX Pro 6000 | ~1.8 s por imagen de 1024x1024 |
Kentino publicará cifras propias tras las primeras configuraciones para clientes.
No es la mejor opción para
- Cargas de trabajo de un solo usuario hasta 70B: 4x RTX 5090 resulta bastante más barato para un pool de 128 GB si no se necesitan ECC ni la fiabilidad del formato pasivo
- Despliegues silenciosos en laboratorio o junto a oficinas: el disipador pasivo exige un flujo de aire de centro de datos de delante hacia atrás. Para ubicaciones sensibles al ruido, elija la variante Max-Q con turbina (Kentino AI 384 Rome RTXPro6000MQ)
- Entrenamiento de modelos frontera desde cero (sin NVLink)
- DeepSeek V3 Q4 completo en las tarjetas (~404 GB): amplíe a 6x RTX Pro 6000 / 576 GB
Garantía y plazo de entrega
La configuración incluye montaje, ajuste de la BIOS, instalación de controladores, rodaje, memtest y verificación funcional. El plazo de entrega depende de la disponibilidad de componentes y se confirma al realizar el pedido.
Complementos recomendados
- Ampliar la RAM a 512 GB DDR4 (añadiendo 2x 64 GB, hay 2 ranuras DIMM libres) para tener margen de desbordamiento con cuantizaciones Q3 de modelos frontera
- NVMe Gen4 x4 de 4 TB para la biblioteca de modelos frontera (solo DeepSeek V3 Q3 ocupa ~290 GB en disco)
- Armario rack completo de 24U con PDU gestionada + SAI online
- Silueta alternativa: variante Max-Q con turbina (Kentino AI 384 Rome RTXPro6000MQ), el mismo silicio con un disipador de soplador más silencioso, para despliegues de laboratorio
Las preguntas que más nos hacen los compradores antes de pedir un servidor.
¿Cuánto tarda?
Las máquinas construidas con componentes que tenemos en stock se envían rápido; cualquier equipo que requiera una generación concreta de GPU depende del suministro. Le damos una fecha antes de que pague y, si se mueve, se lo decimos en lugar de dejar que lo descubra usted.
¿Se puede cambiar la configuración antes de que lo monten?
Casi siempre. Las GPU, la memoria, el almacenamiento y la refrigeración se eligen para cada pedido, y la configuración indicada es un punto de partida, no un paquete cerrado. Si necesita más VRAM, un almacenamiento más rápido o un enfoque de refrigeración distinto, indíquenoslo antes de realizar el pedido y le presupuestaremos el cambio.
¿Puedo recoger el servidor en persona?
Puede hacerlo. Nuestro almacén está en Praga y la recogida en persona es bienvenida: la mayoría de quienes vienen aprovechan la visita para repasar la máquina con nuestro ingeniero y hacer esas preguntas que resultan incómodas por correo. En los pedidos dentro de la República Checa también intentamos entregar en persona y explicarle la instalación in situ.
¿Puedo hablar con alguien que entienda de verdad la carga de trabajo?
Sí. Contamos con un ingeniero dedicado específicamente a los sistemas de IA, no con un mostrador comercial genérico. Si su pregunta trata sobre tamaños de lote, cuantización, interconexión o dónde estará su cuello de botella, háganosla: esa conversación suele mejorar la configuración.
¿Qué modelo puedo ejecutar en esta configuración?
Sí. Cada máquina se ensambla, se somete a pruebas de burn-in y se evalúa con cargas de trabajo de IA reales antes de enviarse, y sale de nuestras instalaciones con un LLM ya instalado y en funcionamiento. Usted solo tiene que conectarla, enlazarla a su red y ponerse a trabajar: la única decisión que queda es qué proyecto ejecutará primero.
¿Cómo se prueba un servidor antes del envío?
Lo probamos con cargas de trabajo de IA reales, no con puntuaciones sintéticas: rendimiento de inferencia, comportamiento bajo carga sostenida y temperaturas en funcionamiento continuo. Recibirá los resultados de las pruebas junto con la máquina, de modo que el rendimiento prometido sea el rendimiento que usted puede verificar desde el primer día.
¿Llega el servidor listo para funcionar?
Sí. Cada máquina se ensambla, se somete a pruebas de burn-in y se evalúa con cargas de trabajo de IA reales antes de enviarse, y sale de nuestras instalaciones con un LLM ya instalado y en funcionamiento. Usted solo tiene que conectarla, enlazarla a su red y ponerse a trabajar: la única decisión que queda es qué proyecto ejecutará primero.
Se envía desde nuestro almacén de la UE. Los artículos pesados pueden requerir transporte especial: contáctenos para obtener un presupuesto de envío y el plazo de entrega. Garantía limitada de 2 años con soporte RMA avanzado; garantía ampliada disponible.
¿No es exactamente lo que necesita?
Díganos cuál es su carga de trabajo y configuraremos esta plataforma a su medida: GPU, memoria, almacenamiento y refrigeración ajustados a lo que realmente ejecuta.