Kentino AI 128 Rome 5090 6704TOPS — servidor de IA 4× RTX 5090 Blackwell
Plataforma de nivel empresarial, ensamblada y probada en la UE.
Kentino AI 128 Rome 5090 6704TOPS
Servidor de inferencia Blackwell con 128 GB de VRAM
4x RTX 5090 | EPYC Milan | 6 704 TOPS INT8
Cuatro RTX 5090 Blackwell con rutas tensoriales fp8/fp4 nativas. La configuración de 4 GPU de mayor rendimiento sobre plataforma Rome.
Servidor de inferencia de 4U para rack con cuatro GeForce RTX 5090 agrupadas en 128 GB de VRAM, una CPU AMD EPYC 7643 Milan (48C/96T), 512 GB de DDR4 ECC (los 8 zócalos DIMM ocupados para obtener el máximo ancho de banda), 2 TB de NVMe de arranque y dos fuentes de alimentación ATX de 2 kW sincronizadas. Ejecuta vLLM, SGLang, llama.cpp y ComfyUI con kernels de inferencia fp8 y MXFP4 nativos de Blackwell.
Hardware
| Componente | Detalle |
|---|---|
| GPU | 4x NVIDIA GeForce RTX 5090 32 GB GDDR7 (Blackwell, 575 W, PCIe 5.0 x16) |
| Pool de VRAM | 128 GB en total entre las 4 tarjetas (la 5090 de consumo no tiene NVLink) |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128 líneas PCIe 4.0) |
| Placa base | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| RAM del sistema | 512 GB DDR4-2666 ECC RDIMM (8x 64 GB: todos los zócalos DIMM ocupados) |
| Arranque / almacenamiento | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Fuente de alimentación | Dos fuentes ATX de 2 kW con cable de sincronización + juego de adaptadores 12VHPWR |
| Chasis | 4U para rack, 4x GPU, risers pasivos PCIe 4.0 x16 |
| Refrigeración | Torre Arctic Freezer 4U-M SP3 + 3x 120 mm de admisión frontal + 1x 120 mm de extracción trasera |
| Red | Doble 10 GbE integrado (Intel X550) |
Envolvente de potencia
- Consumo de las GPU: 4 x 575 W = 2 300 W
- Total del sistema a plena carga: ~2 650 W
- Total de las fuentes: 4 000 W (dos de 2 kW sincronizadas): 33.8 % de margen
- Doble fuente para repartir la entrega de potencia: cada fuente alimenta una parte del sistema
Topología de líneas
La ROMED8-2T reparte las 128 líneas PCIe Gen4 del EPYC directamente entre siete ranuras x16; cuatro de ellas van ocupadas por las GPU a Gen4 x16. Sin conmutador PCIe. La 5090 de consumo no tiene NVLink: la comunicación entre GPU es peer-to-peer. Las tarjetas son Gen5 nativas; Rome se queda en Gen4.
Qué puede ejecutar
Con 128 GB de VRAM agrupada y rutas tensoriales fp8 nativas de Blackwell, este servidor da el salto a Qwen3-235B-A22B Q4 y a gpt-oss-120b MXFP4 con margen real de KV, más allá de lo que alcanzan 4x RTX 4090.
LLM: texto, razonamiento y programación
Frontera china
- Qwen3 / Qwen3.5 (Alibaba): Qwen3-235B-A22B Q3-Q4 (~112-132 GB) entra en el pool de 128 GB con contexto de 8-16k, la configuración estrella; Qwen3-32B denso bf16 (~65 GB) con un KV enorme; Qwen3-Coder-30B-A3B agéntico a 1M de contexto; Qwen3.5-122B-A10B Q6/fp8 (~75-80 GB); QwQ-32B bf16 de razonamiento
- DeepSeek: DeepSeek-V3/R1/V3.1/V3.2 fp8 nativo Q2 (~215 GB) con desbordamiento a los 512 GB de RAM del host, viable para lotes; DeepSeek-R2 32B bf16 multiflujo (4 simultáneos, uno por tarjeta)
- GLM / Z.ai: GLM-4.5-Air 106B/12B fp8 (~106 GB) o Q6 con holgura; GLM-4.5/4.6/4.7 Q2_K_XL (~135 GB) justo, con descarga de los MoE
- Tencent Hunyuan: Hunyuan-A13B fp8 nativo (~80 GB): Blackwell ejecuta fp8 sin penalización por conversión; Hunyuan-Large Q2 con desbordamiento a RAM
- ByteDance Seed-OSS-36B bf16 con 512k nativos; ERNIE-4.5-424B Q2 (~150 GB con desbordamiento)
Frontera occidental
- Meta Llama: Llama 3.3 70B Q4 repartido entre 4x 5090 (~30-40 tok/s en flujo único, ~270+ tok/s con lotes de 32 en vLLM); Llama 4 Scout 109B/17B MoE fp8/Q6 (~90 GB); Llama 4 Maverick 400B/17B Q3 (~188 GB con desbordamiento)
- Mistral: Mistral Small 3 / Magistral / Devstral Small 2 (24B) bf16 multiflujo; Pixtral Large / Mistral Large 2 (123B) Q6 (~88 GB)
- OpenAI (pesos abiertos): gpt-oss-120b MXFP4 nativo (80 GB) con KV real y contexto largo, la carga estrella de Blackwell; gpt-oss-20b MXFP4
- Google Gemma 3: 27B multimodal bf16 (~54 GB) en dos flujos simultáneos; 12B / 4B
- Microsoft Phi-4 14B denso bf16; Phi-4-reasoning destilado
- NVIDIA Nemotron: Llama-3.1-Nemotron Ultra 253B Q3 (~119 GB) justo; Super 49B bf16 (~98 GB)
- Otros: Cohere Command R+ 104B Q6 (~85 GB); Molmo 72B Q6-bf16 VLM; OLMo 2 32B; IBM Granite 4.0 H-Small
Modelos de visión y lenguaje
Qwen3-VL-235B-A22B Q3-Q4; Qwen3-VL-32B bf16; InternVL3.5-241B-A28B Q4 (~135 GB, justo); InternVL3 78B bf16; Llama 3.2 90B Vision Q6 (~74 GB); Pixtral Large 124B Q6 (~88 GB); Molmo 72B Q6/bf16; Gemma 3 27B multimodal bf16; GLM-4.6V 106B fp8.
Generación de imagen
FLUX.1 [dev] bf16 y fp8 (~10-18 s por imagen en fp8); FLUX.1 Kontext [dev]; SD 3.5 Large bf16; HunyuanImage-2.1 bf16 y Q4; HunyuanImage-3.0 base (80B MoE, 13B activos) bf16 (~80 GB, huella estrella); HunyuanDiT; Kolors / Kolors 2.0; AuraFlow v0.3; OmniGen v1; PixArt-Sigma.
Generación de vídeo
Wan 2.2 MoE de dos expertos bf16 (~54 GB, contexto completo); Wan 2.2 TI2V-5B; HunyuanVideo 13B bf16 con ambos expertos (~60-80 GB); HunyuanVideo 1.5; CogVideoX-5B bf16; Open-Sora 2.0 11B bf16 (~24 GB); Genmo Mochi-1 bf16 (~42 GB); LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos.
Audio, voz y TTS
- ASR: Whisper v3 large / turbo (~50x tiempo real); Parakeet-TDT; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2 / 3; Kokoro 82M; Stable Audio Open; XTTS v2; StyleTTS 2; Step-Audio-EditX
- Tiempo real / S2S: Kyutai Moshi 7B; Step-Audio 2 mini/R1; Qwen2.5-Omni-7B
- Música / efectos: MusicGen / AudioGen / Bark; SeamlessM4T v2
Servicio multimodelo y multiinquilino
- MoE de 200B en Q4 con inferencia por lotes (Qwen3-235B, GLM-4.5/4.6/4.7-Air) para 8-16 usuarios simultáneos
- Frontera fp8 nativa: la familia DeepSeek V3 y Hunyuan-Large en fp8 con rutas nativas de Blackwell
- Pila mixta residente: gpt-oss-120b MXFP4 + FLUX.1 + Whisper + Moshi sobre VRAM particionada
- 70B de alto rendimiento: vLLM / SGLang con paralelismo tensorial y más de 200 tok/s agregados por lote
Cargas de trabajo objetivo
- Servicio en producción de MoE de más de 200B en Q3-Q4 con KV real (Qwen3-235B, GLM-4.5-Air 106B)
- Inferencia de frontera en fp8 nativo (DeepSeek V3/R1 fp8, Hunyuan fp8): Blackwell lo ejecuta sin conversión
- Servicio de 70B de alto rendimiento: lotes con paralelismo tensorial vía vLLM o SGLang
- Estudio de generación de vídeo en bf16 (Wan 2.2 de doble experto, HunyuanVideo 13B, Mochi-1)
- Carga mixta multiinquilino: MoE de 120B + generación de imagen + voz en tiempo real, todo residente
Rendimiento medido
Referencias publicadas | ficha técnica de NVIDIA RTX 5090 + pruebas de la comunidad
| Prueba | Resultado |
|---|---|
| TOPS INT8 por tarjeta (ficha técnica de NVIDIA) | 1 676 TOPS |
| TOPS INT8 agregados (4 tarjetas) | 6 704 TOPS |
| Ancho de banda de memoria por tarjeta | ~1 792 GB/s |
| Llama 3.3 70B Q6 con vLLM (comunidad) | 60-90 tok/s en flujo único, más de 300 tok/s por lotes |
| Qwen3-235B-A22B Q3-Q4 | Entra en el pool de 128 GB con contexto de 8-16k |
| gpt-oss-120b MXFP4 nativo | 80 GB, cómodo y con margen de KV |
Referencias externas publicadas, no medidas en hardware de Kentino. Kentino publicará cifras propias tras el primer equipo entregado a un cliente.
Para qué no es ideal
- Modelos de frontera de más de 400B en Q4 (Kimi-K2, Mistral Large 3, Intern-S1-Pro: requieren 8 GPU o 6x RTX Pro 6000)
- Cargas sensibles al enlace PCIe Gen5: elija el SKU Genoa para Gen5 x16 nativo
- Entrenamiento desde cero (la 5090 de consumo no tiene NVLink)
- Producción 24/7 sensible a ECC: la 5090 de consumo no tiene ECC; mejor L40 o RTX Pro 6000 Server Edition
Garantía y plazo de entrega
El montaje incluye ensamblaje, configuración de la BIOS, instalación de controladores, pruebas de rodaje y verificación funcional. El plazo depende de la disponibilidad de componentes y se confirma al realizar el pedido.
Complementos recomendados
- Ampliar a dos fuentes de alimentación de 2.5 kW (FSP) para soportar el peor caso sostenido en bf16 + vídeo; recomendado para 24/7
- NVMe de 4 TB para la biblioteca de modelos y la preparación de pesos MoE
- Armario abierto de 24U para despliegues de varios servidores
- Considere la variante sobre plataforma Genoa, bajo pedido, para enlace Gen5 x16
Las preguntas que más nos hacen los compradores antes de pedir un servidor.
¿Cuánto tarda?
Las máquinas construidas con componentes que tenemos en stock se envían rápido; cualquier equipo que requiera una generación concreta de GPU depende del suministro. Le damos una fecha antes de que pague y, si se mueve, se lo decimos en lugar de dejar que lo descubra usted.
¿Se puede cambiar la configuración antes de que lo monten?
Casi siempre. Las GPU, la memoria, el almacenamiento y la refrigeración se eligen para cada pedido, y la configuración indicada es un punto de partida, no un paquete cerrado. Si necesita más VRAM, un almacenamiento más rápido o un enfoque de refrigeración distinto, indíquenoslo antes de realizar el pedido y le presupuestaremos el cambio.
¿Puedo recoger el servidor en persona?
Puede hacerlo. Nuestro almacén está en Praga y la recogida en persona es bienvenida: la mayoría de quienes vienen aprovechan la visita para repasar la máquina con nuestro ingeniero y hacer esas preguntas que resultan incómodas por correo. En los pedidos dentro de la República Checa también intentamos entregar en persona y explicarle la instalación in situ.
¿Puedo hablar con alguien que entienda de verdad la carga de trabajo?
Sí. Contamos con un ingeniero dedicado específicamente a los sistemas de IA, no con un mostrador comercial genérico. Si su pregunta trata sobre tamaños de lote, cuantización, interconexión o dónde estará su cuello de botella, háganosla: esa conversación suele mejorar la configuración.
¿Qué modelo puedo ejecutar en esta configuración?
Sí. Cada máquina se ensambla, se somete a pruebas de burn-in y se evalúa con cargas de trabajo de IA reales antes de enviarse, y sale de nuestras instalaciones con un LLM ya instalado y en funcionamiento. Usted solo tiene que conectarla, enlazarla a su red y ponerse a trabajar: la única decisión que queda es qué proyecto ejecutará primero.
¿Cómo se prueba un servidor antes del envío?
Lo probamos con cargas de trabajo de IA reales, no con puntuaciones sintéticas: rendimiento de inferencia, comportamiento bajo carga sostenida y temperaturas en funcionamiento continuo. Recibirá los resultados de las pruebas junto con la máquina, de modo que el rendimiento prometido sea el rendimiento que usted puede verificar desde el primer día.
¿Llega el servidor listo para funcionar?
Sí. Cada máquina se ensambla, se somete a pruebas de burn-in y se evalúa con cargas de trabajo de IA reales antes de enviarse, y sale de nuestras instalaciones con un LLM ya instalado y en funcionamiento. Usted solo tiene que conectarla, enlazarla a su red y ponerse a trabajar: la única decisión que queda es qué proyecto ejecutará primero.
Se envía desde nuestro almacén de la UE. Los artículos pesados pueden requerir transporte especial: contáctenos para obtener un presupuesto de envío y el plazo de entrega. Garantía limitada de 2 años con soporte RMA avanzado; garantía ampliada disponible.
¿No es exactamente lo que necesita?
Díganos cuál es su carga de trabajo y configuraremos esta plataforma a su medida: GPU, memoria, almacenamiento y refrigeración ajustados a lo que realmente ejecuta.