Kentino AI 192 Rome RTXPro6000 4000TOPS — 2× RTX Pro 6000 Blackwell Server Edition — EPYC Milan
Plataforma de nivel empresarial, ensamblada y probada en la UE.
Kentino AI 192 Rome RTXPro6000 4000TOPS
Pareja insignia Blackwell de 192 GB ECC
2x RTX Pro 6000 Server Edition | EPYC Milan | 4 000 TOPS INT8
Dos tarjetas pasivas RTX Pro 6000 Blackwell Server Edition, de 96 GB ECC cada una. Menos sobrecarga de paralelismo de tensores que en los equipos de 4 u 8 tarjetas. La pareja insignia para centro de datos.
Un servidor de inferencia de 4U para montaje en rack con dos tarjetas pasivas RTX Pro 6000 Blackwell Server Edition (96 GB de GDDR7 ECC por tarjeta), una CPU AMD EPYC 7643 Milan (48C/96T), 256 GB de DDR4 ECC, 2 TB de NVMe de arranque y una única fuente de alimentación ATX de 2 kW. Para modelos densos de 70B en bf16 y MoE de tamaño medio, unas pocas tarjetas grandes superan a muchas tarjetas pequeñas: el paralelismo de tensores entre dos tarjetas tiene una sobrecarga de comunicación mínima, y cada tarjeta de 96 GB aloja una copia completa de la mayoría de los modelos.
Hardware
| Componente | Detalle |
|---|---|
| GPU | 2x NVIDIA RTX Pro 6000 Blackwell Server Edition 96 GB GDDR7 ECC (pasivas, 600 W, PCIe 5.0 x16, doble slot) |
| Pool de VRAM | 192 GB ECC (96 GB x 2): cada tarjeta aloja por sí sola un modelo de 70B en bf16 |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128 líneas PCIe 4.0) |
| Placa base | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| RAM del sistema | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Arranque / almacenamiento | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Fuente de alimentación | 1x fuente de alimentación ATX de 2 kW |
| Chasis | 4U para rack con flujo de aire dirigido de delante hacia atrás |
| Refrigeración | Torre Arctic Freezer 4U-M SP3 + 3x ventilador frontal de 120 mm + 1x extractor trasero de 120 mm |
| Red | Doble 10 GbE integrada (Intel X550) |
Envolvente de potencia
- Consumo de las GPU: 2 x 600 W = 1 200 W
- Total del sistema a plena carga: ~1 525 W
- Total de la fuente: 2 000 W (una sola de 2 kW): 23.7 % de margen
- Una sola fuente es suficiente; ampliación opcional a doble fuente para redundancia N+1
Topología de líneas
PCIe Gen4 x16 por GPU (la tarjeta es Gen5 nativa; la placa Rome se queda en Gen4). Conexión directa al root complex, sin conmutador PCIe. Sin NVLink: comunicación entre GPU de igual a igual. Quedan cinco slots x16 libres para ampliaciones. La diferencia entre Gen4 y Gen5 es insignificante para inferencia con esta densidad de VRAM.
Qué puede ejecutar
Con 192 GB de VRAM ECC en solo dos tarjetas Blackwell con fp8/fp4 nativos, esta es la vía más limpia para modelos densos de 70B en bf16 y MoE de tamaño medio. Dos flujos independientes de 70B, uno por tarjeta, o un MoE de 200B repartido entre ambas con una sobrecarga mínima de TP a dos vías.
LLM: texto, razonamiento y programación
Frontera china
- Qwen3 / Qwen3.5 (Alibaba): Qwen3-235B-A22B Q4 (~132 GB) sin apuros con contextos largos (~15-25 tok/s en un solo flujo repartido entre 2 tarjetas); Qwen3-Coder-480B-A35B Q2 (~160 GB); Qwen3.5-122B-A10B fp8 (~75 GB); Qwen3-32B denso en bf16 con un KV enorme; QwQ-32B bf16
- DeepSeek: DeepSeek-V3/R1 Q2 (~215 GB con un pequeño desbordamiento a RAM): Blackwell ejecuta fp8 de forma nativa; DeepSeek-R2 32B bf16 con dos flujos simultáneos (uno por tarjeta)
- GLM / Z.ai: GLM-4.5 / 4.6 / 4.7 Q4 (~177 GB), la configuración estrella en esta gama; GLM-4.5-Air en fp8 o bf16 con un KV enorme
- Tencent Hunyuan: Hunyuan-Large Q3 (~160 GB), un MoE de 389B con 256k de contexto; Hunyuan-A13B fp8 nativo (~80 GB) con un KV enorme
- Otros: Baidu ERNIE-4.5-424B Q3 (~180 GB); InternVL3.5-241B-A28B Q4 (~135 GB); MiniMax-M1 Q3 (~180 GB)
Frontera occidental
- Meta Llama: Llama 3.3 70B bf16 en una sola tarjeta, con dos flujos de 70B simultáneos e independientes (~20-30 tok/s por flujo); Llama 4 Scout bf16 (~218 GB, justo); Llama 4 Maverick Q3 (~188 GB)
- Mistral: Mistral Large 2 / Pixtral Large / Devstral 2 123B Q6 (~88 GB) en una tarjeta o en bf16 repartido entre ambas; Mistral Small 3 en multiflujo
- OpenAI (pesos abiertos): gpt-oss-120b MXFP4 nativo (80 GB): cabe en UNA sola tarjeta, con dos flujos simultáneos e independientes
- NVIDIA Nemotron: Llama-3.1-Nemotron Ultra 253B Q4 (~147 GB); Super 49B bf16 en una sola tarjeta
- Otros: Cohere Command R+ 104B Q6 (~85 GB) en una sola tarjeta; Google Gemma 3 27B bf16 con varios flujos simultáneos
Modelos de visión y lenguaje
InternVL3.5-241B-A28B Q4 (~135 GB); Qwen3-VL-235B-A22B Q4; Qwen3-VL-32B bf16 en una sola tarjeta; Pixtral Large 124B en bf16 o Q6; Llama 3.2 90B Vision bf16 (~180 GB); Molmo 72B bf16 (~144 GB); GLM-4.6V 106B fp8; Gemma 3 27B multimodal x 2-3 flujos simultáneos.
Generación de imagen
FLUX.1 [dev] bf16 con varios flujos simultáneos; FLUX.1 Kontext [dev]; FLUX Tools; SD 3.5 Large bf16 simultáneo; HunyuanImage-2.1 bf16 (~34 GB) x 2-4 simultáneos; HunyuanImage-3.0 base (MoE de 80B, 13B activos) bf16, cabe en una sola tarjeta; HunyuanDiT; Kolors / Kolors 2.0; AuraFlow; OmniGen v1; PixArt-Sigma.
Generación de vídeo
Wan 2.2 MoE de doble experto en bf16 con contexto completo, cabe en una sola tarjeta y permite dos flujos de generación simultáneos; Wan 2.2 TI2V-5B; HunyuanVideo 13B bf16 con ambos expertos; HunyuanVideo 1.5; CogVideoX-5B bf16; Open-Sora 2.0 11B bf16; Mochi-1 bf16 (~42 GB); LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.
Audio, voz y TTS
- ASR: Whisper v3 large / turbo (~50x en tiempo real); Parakeet-TDT; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2/3; Kokoro 82M; XTTS v2; Stable Audio Open; Step-Audio-EditX
- Tiempo real / S2S: Kyutai Moshi 7B; Step-Audio 2 mini/R1; Qwen2.5-Omni-7B
- Música / efectos: MusicGen / AudioGen / Bark; SeamlessM4T v2
Servicio multimodelo y multiinquilino
- Dos flujos independientes de 70B, uno por tarjeta: la forma más sencilla de aislar inquilinos
- Modelo denso de 70B en bf16 más la pila de apoyo: el LLM en la tarjeta 1 e imagen, vídeo y audio en la tarjeta 2
- MoE de 200B repartido entre ambas tarjetas, con una sobrecarga mínima de paralelismo de tensores (división en 2)
- Frontera con fp8 nativo: familia DeepSeek V3, Hunyuan-Large fp8 con las rutas nativas de Blackwell
Cargas de trabajo objetivo
- Inferencia densa de 70B en bf16: dos tarjetas con paralelismo de tensores y sobrecarga mínima, o un modelo por tarjeta para streaming
- MoE de 100-150B en Q4-Q6 (GLM-4.5-Air, Qwen3.5-122B-A10B, Hunyuan-A13B, Llama 4 Scout)
- Inferencia de frontera con FP8 nativo (familia DeepSeek V3, Hunyuan, Llama 4): Blackwell ejecuta fp8 de forma nativa
- Estudio de generación de imagen y vídeo en bf16 (Wan 2.2 T2V-A14B, HunyuanVideo 13B, FLUX.1 [dev])
- Análisis documental de contexto largo (MiniMax-M1, Kimi-K2 1.58-bit UD con desbordamiento)
Rendimiento medido
Referencias publicadas | ficha técnica de la NVIDIA RTX Pro 6000 Blackwell Server Edition + pruebas de la comunidad
| Prueba | Resultado |
|---|---|
| TOPS INT8 por tarjeta (ficha técnica de NVIDIA) | 2 000 TOPS |
| TOPS INT8 agregados (2 tarjetas) | 4 000 TOPS |
| Ancho de banda de memoria por tarjeta | ~1 800 GB/s, 96 GB GDDR7 ECC |
| Llama 3.3 70B bf16 por tarjeta (comunidad) | 15-25 tok/s en un solo flujo, 60-90 tok/s por lotes |
| 70B con paralelismo de tensores en dos tarjetas (comunidad) | ~30-45 tok/s previstos en un solo flujo |
| fp8 nativo de Blackwell | DeepSeek-V3 fp8 y Hunyuan-A13B fp8 se ejecutan sin conversión a bf16 |
Referencias externas publicadas, no medidas sobre hardware de Kentino. Kentino publicará cifras propias tras el primer equipo entregado a un cliente.
No es la mejor opción para
- Servicio multiinquilino con una concurrencia muy alta: 4x L40 o 6x L4 reparten mejor entre más tarjetas
- Caché KV intensiva con contextos muy largos: dé el salto al Kentino AI 384 RTXPro6000 8000TOPS
- Entrenamiento: Kentino no vende fabrics NVLink de clase H
- Inferencia económica con un pool de 192 GB: 8x RTX 4090 sale más barato (a costa de renunciar al ECC y a la refrigeración pasiva)
Garantía y plazo de entrega
Garantía OEM de NVIDIA de 3 años sobre la RTX Pro 6000 Server Edition + garantía de integración de Kentino. El montaje incluye ensamblaje, configuración de la BIOS, instalación de controladores, pruebas de rodaje y verificación funcional. El plazo de entrega depende de la disponibilidad de componentes y se confirma al hacer el pedido.
Complementos recomendados
- Ampliación a dos fuentes de 2 kW sincronizadas para redundancia N+1
- Ampliación de la RAM a 512 GB (quedan 4 zócalos DIMM libres)
- 4 TB de NVMe para bibliotecas de pesos grandes y preparación de modelos
- Ampliación a una configuración de 4 tarjetas (Kentino AI 384 RTXPro6000 8000TOPS): el chasis tiene slots suficientes
- Armario rack de 24U + SAI online de 5 kVA
Las preguntas que más nos hacen los compradores antes de pedir un servidor.
¿Cuánto tarda?
Las máquinas construidas con componentes que tenemos en stock se envían rápido; cualquier equipo que requiera una generación concreta de GPU depende del suministro. Le damos una fecha antes de que pague y, si se mueve, se lo decimos en lugar de dejar que lo descubra usted.
¿Se puede cambiar la configuración antes de que lo monten?
Casi siempre. Las GPU, la memoria, el almacenamiento y la refrigeración se eligen para cada pedido, y la configuración indicada es un punto de partida, no un paquete cerrado. Si necesita más VRAM, un almacenamiento más rápido o un enfoque de refrigeración distinto, indíquenoslo antes de realizar el pedido y le presupuestaremos el cambio.
¿Puedo recoger el servidor en persona?
Puede hacerlo. Nuestro almacén está en Praga y la recogida en persona es bienvenida: la mayoría de quienes vienen aprovechan la visita para repasar la máquina con nuestro ingeniero y hacer esas preguntas que resultan incómodas por correo. En los pedidos dentro de la República Checa también intentamos entregar en persona y explicarle la instalación in situ.
¿Puedo hablar con alguien que entienda de verdad la carga de trabajo?
Sí. Contamos con un ingeniero dedicado específicamente a los sistemas de IA, no con un mostrador comercial genérico. Si su pregunta trata sobre tamaños de lote, cuantización, interconexión o dónde estará su cuello de botella, háganosla: esa conversación suele mejorar la configuración.
¿Qué modelo puedo ejecutar en esta configuración?
Sí. Cada máquina se ensambla, se somete a pruebas de burn-in y se evalúa con cargas de trabajo de IA reales antes de enviarse, y sale de nuestras instalaciones con un LLM ya instalado y en funcionamiento. Usted solo tiene que conectarla, enlazarla a su red y ponerse a trabajar: la única decisión que queda es qué proyecto ejecutará primero.
¿Cómo se prueba un servidor antes del envío?
Lo probamos con cargas de trabajo de IA reales, no con puntuaciones sintéticas: rendimiento de inferencia, comportamiento bajo carga sostenida y temperaturas en funcionamiento continuo. Recibirá los resultados de las pruebas junto con la máquina, de modo que el rendimiento prometido sea el rendimiento que usted puede verificar desde el primer día.
¿Llega el servidor listo para funcionar?
Sí. Cada máquina se ensambla, se somete a pruebas de burn-in y se evalúa con cargas de trabajo de IA reales antes de enviarse, y sale de nuestras instalaciones con un LLM ya instalado y en funcionamiento. Usted solo tiene que conectarla, enlazarla a su red y ponerse a trabajar: la única decisión que queda es qué proyecto ejecutará primero.
Se envía desde nuestro almacén de la UE. Los artículos pesados pueden requerir transporte especial: contáctenos para obtener un presupuesto de envío y el plazo de entrega. Garantía limitada de 2 años con soporte RMA avanzado; garantía ampliada disponible.
¿No es exactamente lo que necesita?
Díganos cuál es su carga de trabajo y configuraremos esta plataforma a su medida: GPU, memoria, almacenamiento y refrigeración ajustados a lo que realmente ejecuta.