Kentino AI 192 RomeDual 4090 5288TOPS — 8× RTX 4090 — EPYC Milan dual
Plataforma de nivel empresarial, ensamblada y probada en la UE.
Kentino AI 192 RomeDual 4090 5288TOPS
Servidor de inferencia de 8 GPU con 192 GB de VRAM
8x RTX 4090 | EPYC Milan dual | 5 288 TOPS INT8
Equipo de inferencia insignia con 8 GPU gaming. Un pool de 192 GB con la economía de las tarjetas de consumo sobre una plataforma EPYC Milan de doble zócalo.
Un chasis 7U para 8 GPU construido en torno a dos CPU EPYC 7643 Milan (96C/192T en total), placa base ASRock Rack ROME2D32GM-NL de doble SP3, 512 GB de DDR4 ECC, NVMe de arranque de 2 TB y un conjunto de 5 fuentes de alimentación de servidor de 1200 W. Las ocho GeForce RTX 4090 se conectan mediante risers activos PCIe Gen4 con retimer a x16 completo. La vía más económica para la inferencia MoE de frontera con 192 GB en hardware Kentino.
Hardware
| Componente | Detalle |
|---|---|
| GPU | 8x NVIDIA GeForce RTX 4090 de 24 GB GDDR6X (Ada Lovelace, 450 W, PCIe 4.0 x16) |
| Pool de VRAM | 192 GB en total entre 8 tarjetas (las RTX 4090 de consumo no tienen NVLink) |
| CPU | 2x AMD EPYC 7643 Milan (48C/96T cada una — 96C/192T en total, 225 W cada una, 2x 128 líneas PCIe 4.0) |
| Placa base | ASRock Rack ROME2D32GM-NL (doble SP3, PCIe 4.0, 32 ranuras DIMM DDR4 ECC) |
| RAM del sistema | 512 GB DDR4-2666 ECC RDIMM (8x 64 GB — 4 por zócalo para equilibrar los 8 canales) |
| Arranque / almacenamiento | NVMe M.2 de 2 TB (PCIe 4.0 x4) |
| Fuente de alimentación | Conjunto de 5 fuentes de alimentación de servidor de 1200 W (compatibles HP, intercambio en caliente) + juego completo de adaptadores 12VHPWR |
| Chasis | Chasis 7U para 8 GPU (hasta 10 tarjetas PCIe, risers incluidos) |
| Risers | 8x risers activos PCIe Gen4 x16 con retimer (necesarios por la longitud del cable) |
| Refrigeración | 2x disipadores torre Arctic Freezer 4U-M SP3 + flujo de aire frontal-trasero para rack (ventiladores industriales) |
| Red | Doble 10 GbE integrado (Intel X550) |
Envolvente de potencia
- Consumo de GPU: 8 x 450 W = 3 600 W
- Consumo de CPU: 2 x 225 W = 450 W
- Total del sistema a plena carga: ~4 200 W
- Total de las fuentes: 6 000 W con todas activas (5x 1200 W) — 30.0 % de margen
Topología de líneas
La ROME2D32GM-NL expone 2x 128 líneas PCIe Gen4 —un pool de 128 líneas por zócalo EPYC— directamente a las ranuras de GPU. Risers activos Gen4 con retimer para la integridad de la señal. Sin conmutador PCIe. Sin NVLink. Medidos 19-22 GB/s entre GPU en banco de pruebas de 4 GPU.
Qué puede ejecutar
Con 192 GB repartidos entre 8 tarjetas, este servidor asume modelos MoE de frontera de más de 200B en Q4, inferencia con paralelismo tensorial de 8 vías, servicio multimodelo con aislamiento por inquilino y alto rendimiento por lotes con la economía de las tarjetas de consumo.
LLM — texto / razonamiento / programación
Frontera china
- Qwen3 / Qwen3.5 (Alibaba): Qwen3-235B-A22B Q4 (~132 GB) con contexto largo — la configuración estrella (~15-25 tok/s de flujo único en 8x RTX 4090); Qwen3-Coder-480B-A35B Q2 (~160 GB); Qwen3.5-122B-A10B fp8 (~75 GB) multiflujo; Qwen3-32B denso bf16 en varias instancias concurrentes
- DeepSeek: DeepSeek-V3/R1 Q2 (~215 GB con volcado a los 512 GB del host); DeepSeek-R2 32B bf16 — hasta 8 flujos concurrentes, uno por tarjeta (~30-40 tok/s por flujo)
- GLM / Z.ai: GLM-4.5 / 4.6 / 4.7 Q4 (~177 GB); GLM-4.5-Air fp8 o bf16; GLM-4.6V 106B
- Tencent Hunyuan: Hunyuan-Large Q3 (~160 GB); Hunyuan-A13B Q4/Q6 (la RTX 4090 es Ada — fp8 se convierte a bf16, use cuantizaciones GGUF)
- Otros: Baidu ERNIE-4.5-424B Q3 (~180 GB); InternVL3.5-241B-A28B Q4 (~135 GB); Qwen3.5-397B Q3 (~170 GB); MiniMax-M1 Q3 (~180 GB)
Frontera occidental
- Meta Llama: Llama 3.3 70B bf16 con KV masiva (~20 tok/s de flujo único en Q4, ~179 tok/s por lotes de 32 con vLLM — medido por Kentino en banco de 4 GPU); Llama 4 Scout bf16 (~218 GB, justo); Llama 4 Maverick Q3 (~188 GB)
- Mistral: Mistral Large 2 / Pixtral Large 123B Q6 con holgura o bf16 (~248 GB con volcado); Mistral Small 3 multiflujo
- OpenAI (pesos abiertos): gpt-oss-120b MXFP4 nativo (80 GB) con KV enorme
- NVIDIA Nemotron: Llama-3.1-Nemotron Ultra 253B Q4 (~147 GB); Super 49B bf16
- Otros: Cohere Command R+ 104B Q6 (~85 GB); Google Gemma 3 27B bf16 en varios flujos
Modelos de visión y lenguaje
InternVL3.5-241B-A28B Q4 (~135 GB); Qwen3-VL-235B-A22B Q4; Qwen3-VL-32B bf16 multiflujo; Llama 3.2 90B Vision bf16 (~180 GB); Pixtral Large 124B Q6; Molmo 72B bf16; GLM-4.6V 106B fp8/Q6; Gemma 3 27B multimodal en varios flujos.
Generación de imagen
FLUX.1 [dev] bf16 — hasta 8 flujos de generación concurrentes (uno por tarjeta, ~15-25 s/imagen en fp8); FLUX.1 Kontext [dev]; FLUX Tools; SD 3.5 Large bf16 x 8; HunyuanImage-2.1 bf16 (~34 GB) con 2-4 concurrentes; HunyuanImage-3.0 base (80B MoE, 13B activos) bf16; HunyuanDiT; Kolors / Kolors 2.0; AuraFlow; OmniGen v1; PixArt-Sigma.
Generación de vídeo
Wan 2.2 MoE de expertos duales bf16 con contexto completo — varios flujos concurrentes; Wan 2.2 TI2V-5B x 8 concurrentes; HunyuanVideo 13B bf16 con ambos expertos; HunyuanVideo 1.5; CogVideoX-5B bf16; Open-Sora 2.0 11B bf16; Genmo Mochi-1 bf16; LTX-Video x 8 concurrentes; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos.
Audio / voz / TTS
- ASR: Whisper v3 large / turbo x 8 concurrentes (~50x tiempo real por flujo); Parakeet-TDT; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2/3; Kokoro 82M; XTTS v2; Stable Audio Open
- Tiempo real / S2S: Kyutai Moshi 7B x 8 flujos de voz concurrentes; Step-Audio 2 mini/R1; Qwen2.5-Omni-7B
- Música / efectos: MusicGen / AudioGen / Bark; SeamlessM4T v2
Servicio multimodelo / multiinquilino
- Inferencia con paralelismo tensorial de 8 vías de MoE de 200-250B en Q4 (Qwen3-235B, GLM-4.5/4.6/4.7)
- Servicio de 8 flujos con aislamiento por inquilino — un modelo Q4 de 24 GB por tarjeta (p. ej. 8x agentes Qwen3-14B)
- 70B con lotes grandes — vLLM / SGLang con paralelismo tensorial y lote agregado de 64
- Flota mixta: MoE de 235B en 4 tarjetas (TP4) + FLUX + vídeo + voz en tiempo real en las 4 restantes
- Laboratorio de ajuste fino — LoRA / QLoRA de 7-34B con lotes grandes
Cargas de trabajo objetivo
- Inferencia con paralelismo tensorial de 8 GPU sobre el pool de 192 GB — Qwen3-235B Q4, GLM-4.5/4.6/4.7 Q4, Llama 4 Scout bf16
- Modelos densos de 70B bf16 (Llama 3.3 70B) con un margen de KV enorme para contexto largo y lotes grandes
- Pasarela de inferencia por lotes de alto rendimiento — vLLM / SGLang con paralelismo tensorial y lotes grandes
- Ajuste fino de modelos de clase 7-34B con LoRA / QLoRA y lotes grandes
- Estudio de vídeo e imagen con el flujo completo de Wan 2.2 de expertos duales / HunyuanImage-3.0 / FLUX.1
Rendimiento medido
Banco de pruebas Kentino (referencia de 4 GPU) | 2026-04-10 | 4x RTX 4090 + EPYC 7542 + 512 GB DDR4 + ROMED8-2T
| Prueba | Resultado |
|---|---|
| Cómputo sostenido (fp16, referencia de 4 tarjetas) | 647 TFLOPS |
| vLLM — Llama 3.3 70B AWQ INT4 (flujo único) | 8.0 tok/s |
| vLLM — Llama 3.3 70B AWQ INT4 (lote de 32) | 179 tok/s agregados |
| llama.cpp — Llama 3.3 70B Q4_K_M (flujo único) | 20.3 tok/s de decodificación |
| Cómputo agregado con 8 GPU (extrapolación) | ~1 294 TFLOPS fp16 previstos (casi lineal) |
| 235B Q4 con paralelismo tensorial de 8 vías (comunidad) | 15-25 tok/s de flujo único en 8x RTX 4090 |
Los datos de 4 tarjetas se midieron en hardware Kentino. La extrapolación a 8 GPU procede de referencias externas publicadas. Kentino publicará cifras propias con 8 GPU tras el primer equipo entregado a un cliente.
No es la opción ideal para
- Cargas de la generación 5090 (fp8 nativo de Blackwell + más TOPS) — consulte el Kentino AI 256 TurinDual 5090
- Entrenamiento desde cero (las RTX 4090 de consumo no tienen NVLink)
- Producción 24/7 sensible a errores de memoria — la RTX 4090 de consumo no tiene ECC; mejor 4x L40 o 2x RTX Pro 6000 Server Edition
- Hunyuan / DeepSeek en fp8 nativo — la RTX 4090 es Ada y los checkpoints fp8 se convierten a bf16
Garantía y plazo de entrega
El montaje incluye ensamblaje, configuración de BIOS con ajuste NUMA de doble zócalo, instalación de drivers, rodaje, memtest, prueba de esfuerzo completa de las 8 GPU y preparación del entorno de LLM. El plazo de entrega depende de la disponibilidad de componentes y se confirma al realizar el pedido.
Complementos recomendados
- NVMe adicional de 4 TB para preparar pesos y para cargas con descarga de MoE
- NVIDIA ConnectX-5 de 100 GbE para servicio multinodo
- Ampliación de RAM a 1 TB (16x 64 GB) o 2 TB (32x 64 GB) — la placa admite 32 ranuras DIMM
- Armario rack completo de 24U + SAI online de 5 kVA
Las preguntas que más nos hacen los compradores antes de pedir un servidor.
¿Cuánto tarda?
Las máquinas construidas con componentes que tenemos en stock se envían rápido; cualquier equipo que requiera una generación concreta de GPU depende del suministro. Le damos una fecha antes de que pague y, si se mueve, se lo decimos en lugar de dejar que lo descubra usted.
¿Se puede cambiar la configuración antes de que lo monten?
Casi siempre. Las GPU, la memoria, el almacenamiento y la refrigeración se eligen para cada pedido, y la configuración indicada es un punto de partida, no un paquete cerrado. Si necesita más VRAM, un almacenamiento más rápido o un enfoque de refrigeración distinto, indíquenoslo antes de realizar el pedido y le presupuestaremos el cambio.
¿Puedo recoger el servidor en persona?
Puede hacerlo. Nuestro almacén está en Praga y la recogida en persona es bienvenida: la mayoría de quienes vienen aprovechan la visita para repasar la máquina con nuestro ingeniero y hacer esas preguntas que resultan incómodas por correo. En los pedidos dentro de la República Checa también intentamos entregar en persona y explicarle la instalación in situ.
¿Puedo hablar con alguien que entienda de verdad la carga de trabajo?
Sí. Contamos con un ingeniero dedicado específicamente a los sistemas de IA, no con un mostrador comercial genérico. Si su pregunta trata sobre tamaños de lote, cuantización, interconexión o dónde estará su cuello de botella, háganosla: esa conversación suele mejorar la configuración.
¿Qué modelo puedo ejecutar en esta configuración?
Sí. Cada máquina se ensambla, se somete a pruebas de burn-in y se evalúa con cargas de trabajo de IA reales antes de enviarse, y sale de nuestras instalaciones con un LLM ya instalado y en funcionamiento. Usted solo tiene que conectarla, enlazarla a su red y ponerse a trabajar: la única decisión que queda es qué proyecto ejecutará primero.
¿Cómo se prueba un servidor antes del envío?
Lo probamos con cargas de trabajo de IA reales, no con puntuaciones sintéticas: rendimiento de inferencia, comportamiento bajo carga sostenida y temperaturas en funcionamiento continuo. Recibirá los resultados de las pruebas junto con la máquina, de modo que el rendimiento prometido sea el rendimiento que usted puede verificar desde el primer día.
¿Llega el servidor listo para funcionar?
Sí. Cada máquina se ensambla, se somete a pruebas de burn-in y se evalúa con cargas de trabajo de IA reales antes de enviarse, y sale de nuestras instalaciones con un LLM ya instalado y en funcionamiento. Usted solo tiene que conectarla, enlazarla a su red y ponerse a trabajar: la única decisión que queda es qué proyecto ejecutará primero.
Se envía desde nuestro almacén de la UE. Los artículos pesados pueden requerir transporte especial: contáctenos para obtener un presupuesto de envío y el plazo de entrega. Garantía limitada de 2 años con soporte RMA avanzado; garantía ampliada disponible.
¿No es exactamente lo que necesita?
Díganos cuál es su carga de trabajo y configuraremos esta plataforma a su medida: GPU, memoria, almacenamiento y refrigeración ajustados a lo que realmente ejecuta.