Kentino AI 64 Rome 5090 3352TOPS — Servidor de IA Blackwell de entrada con 2x RTX 5090
Plataforma de nivel empresarial, ensamblada y probada en la UE.
Kentino AI 64 Rome 5090 3352TOPS
Servidor Blackwell de 2 GPU de acceso
2x RTX 5090 | EPYC Milan | 3 352 TOPS INT8
Servidor Blackwell de 2 GPU de acceso: 64 GB de VRAM agrupada, 3 352 TOPS INT8 y fp8 nativo. El salto de Ada a Blackwell frente a un 2x4090.
Un servidor de IA Blackwell de dos GPU montado sobre ROMED8-2T / EPYC Milan. Dos RTX 5090 ofrecen una reserva de 64 GB de VRAM agrupada con cálculo tensorial fp8 nativo: aproximadamente el doble de TOPS brutos que 2x RTX 4090 en el mismo formato de chasis, y el primer nivel de 2 GPU que ejecuta con holgura Llama 3.3 70B Q4, Qwen3.5-122B-A10B Q4 y HunyuanVideo en bf16 / fp8 con margen de sobra.
Hardware
| Componente | Detalle |
|---|---|
| GPU | 2x NVIDIA GeForce RTX 5090 32 GB GDDR7 (575 W, PCIe 5.0 x16, Blackwell) |
| Reserva de VRAM | 64 GB |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x líneas PCIe 4.0) |
| Placa base | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| RAM del sistema | 128 GB DDR4-2666 ECC RDIMM (2x 64 GB) |
| Arranque / almacenamiento | 1 TB NVMe M.2 (PCIe 4.0 x4) |
| Fuente de alimentación | Una fuente de alimentación ATX de 2 kW |
| Chasis | Montaje en rack de 4U, risers pasivos Gen4 x16 |
| Refrigeración | Disipador tipo torre SP3, 3x ventiladores frontales de 120 mm de entrada + 1x de 120 mm de extracción trasera (ventiladores industriales) |
| Red | Doble 10 GbE integrada (Intel X550) + IPMI |
Consumo eléctrico
- Consumo de GPU: 2 x 575 W = 1 150 W
- Total del sistema a plena carga: ~1 475 W
- Total de la fuente: 2 000 W (una sola ATX de 2 kW): 26.25 % de margen
- Margen aceptable con una sola fuente; ampliación a doble fuente disponible para más holgura
Topología de líneas
La ROMED8-2T reparte 2x16 Gen4 desde el complejo raíz de la CPU. La 5090 es silicio Gen5 funcionando a Gen4 x16 sin penalización de ancho de banda para inferencia. Sin conmutador PCIe. Sin NVLink en la GeForce 5090: el P2P tensor-paralelo entre dos tarjetas usa PCIe.
Qué puede ejecutar
Con 64 GB de VRAM GDDR7 agrupada entre 2 tarjetas Blackwell, este servidor asume modelos de 70B Q4 en tensor paralelo, buques insignia MoE, generación de imagen en fp8 nativo, IA de vídeo y servicio simultáneo de varios modelos.
LLM: texto / razonamiento / programación
Vanguardia china
- Qwen3-32B Q8 / bf16 (calidad casi fp16) (~40-55 tok/s en flujo único sobre fp8 de Blackwell, referencia publicada)
- QwQ-32B bf16; Qwen3-30B-A3B / Coder-30B-A3B bf16 (~60 GB, entra)
- Qwen3.5-122B-A10B Q4 (~70-75 GB con desbordamiento a RAM): el buque insignia MoE entra en Q4
- Hunyuan-A13B fp8 (~80 GB, justo) o Q6 (~36 GB, holgado)
- Seed-OSS-36B bf16 (~72 GB, justo; mejor fp8 con ~36 GB)
- DeepSeek-R2 32B MoE disperso bf16
- GLM-4.5-Air 106B/12B Q4_K_M (~60 GB): MoE con margen
- ERNIE-4.5-47B-A3B Q6-Q8
Vanguardia occidental
- Llama 3.3 70B Q4_K_M (~43 GB): la carga estrella de este nivel (~20-28 tok/s en flujo único sobre 2x 5090, referencia publicada)
- Hermes 3 70B / Tulu 3 70B Q4: derivados abiertos de Llama con postentrenamiento
- Mistral Small 3 / Magistral / Devstral Small 2 24B bf16; Mixtral 8x7B bf16
- Gemma 3 27B multimodal bf16 + margen para razonamiento
- Phi-4 14B bf16; Nemotron-Super 49B Q6-Q8
- gpt-oss-20b MXFP4 (16 GB) + gpt-oss-120b MXFP4 (80 GB: entra justo con contexto corto)
- OLMo 2 32B / OLMo 3.1-32B-Think bf16
Visión-lenguaje
Qwen3-VL-32B / Qwen3-VL-30B-A3B / Qwen3-Omni-30B-A3B bf16; InternVL3.5-38B bf16; Llama 3.2 90B Vision Q4 (~52 GB); Pixtral 12B bf16; Pixtral Large 124B Q3 (~58 GB, justo); Gemma 3 27B multimodal bf16; PaliGemma 2 28B bf16; Molmo 72B Q4 (~45 GB).
Generación de imagen
El fp8 nativo de la 5090 es el argumento de velocidad: FLUX.1 / SD 3.5 / HunyuanImage corren bastante más rápido que en Ada. FLUX.1 [dev] / [schnell] fp8 nativo (~12 GB) con 2x en paralelo entre tarjetas (~8-12 segundos por imagen de 1024x1024 en Blackwell, referencia publicada); FLUX.1 Kontext [dev]; SD 3.5 Large (18 GB en fp16 u 11 GB en fp8); SDXL 1.0; HunyuanImage-2.1 bf16 (~34 GB); HunyuanImage-3.0 NF4; AuraFlow v0.3 / OmniGen v1 / Kolors 2.0.
Generación de vídeo
Wan 2.2 T2V-A14B / I2V-A14B bf16 (~54 GB en total): MoE de dos expertos a precisión completa; Wan 2.2 TI2V-5B bf16 por tarjeta, 2 inquilinos en paralelo; HunyuanVideo 13B Q4-Q5 (~30 GB), fp8 justo; HunyuanVideo 1.5 (8.3B) bf16 por tarjeta; Open-Sora 2.0 (11B) bf16; CogVideoX-5B / 1.5 bf16; Mochi-1 bf16 (~42 GB, entra); LTX-Video 2B; NVIDIA Cosmos Predict 2.
Audio / voz / TTS
La misma pila completa de voz china y occidental que en el nivel 4090 entra aquí con más margen: Whisper v3 + Parakeet + Canary + Moshi + Step-Audio 2 / R1 + CosyVoice 3.0 + Kokoro + Stable Audio Open + MusicGen + AudioGen + SeamlessM4T v2 + MMS. Sobre la 5090 con fp8 nativo, Whisper y Parakeet decodifican con un factor de tiempo real bastante mayor. Whisper v3 turbo alcanza unas ~75x el tiempo real en Blackwell (referencia publicada).
Multimodelo / multiinquilino
- Pila residente: Llama 3.3 70B Q4 (~43 GB en tensor paralelo entre dos tarjetas) + FLUX.1 fp8 (~12 GB) + Whisper-turbo + Moshi
- De 2 a 4 inquilinos simultáneos de clase 32B en Q6-Q8 por tarjeta
- Ajuste fino LoRA / QLoRA de 7-14B con holgura, de 24-32B justo
Cargas de trabajo objetivo
- Estación de trabajo para equipos pequeños con margen para servir modelos de 70B Q4
- Salto a Blackwell desde un equipo con 2x RTX 4090: mismo chasis, ~2.5x TOPS, fp8 nativo
- Estación de trabajo de generación de imagen y vídeo con la aceleración de FLUX en fp8 nativo
- Equipo multimodelo simultáneo: 70B Q4 + FLUX + Whisper + Moshi residentes a la vez
- Punto de inferencia para 4-8 usuarios simultáneos con LLM de clase 32B
Referencias de rendimiento publicadas
Referencia publicada | hardware comparable con 2x RTX 5090
| Prueba | Resultado |
|---|---|
| Decodificación de Llama 3.3 70B Q4_K_M en llama.cpp | ~20-28 tok/s en flujo único |
| Qwen3-32B Q8 en vLLM, flujo único | ~45-60 tok/s de decodificación en fp8 |
| FLUX.1 [dev] fp8 nativo en Blackwell | ~1.5-1.9 s por imagen de 1024x1024 a 20 pasos |
| HunyuanVideo 13B Q5 TP-2 | 5 s a 720p en ~5-7 min |
Cifras publicadas, no medidas en hardware de Kentino. Referencia medida por Kentino sobre 4x RTX 4090: 647 TFLOPS fp16, 179 tok/s agregados con lote de 32.
No es la opción ideal para
- Modelos densos de más de 100B en bf16 (DeepSeek-V3, Kimi K2, Mistral Large 3: necesitan una reserva de 256 GB o más)
- Generación de vídeo de vanguardia en bf16, de larga duración y a resolución completa
Garantía y plazo de entrega
El montaje incluye ensamblaje, configuración de la BIOS, instalación de controladores, pruebas de rodaje y verificación funcional. El plazo de entrega depende de la disponibilidad de componentes y se confirma al realizar el pedido.
Complementos recomendados
- NVIDIA ConnectX-5 100 GbE MCX555A-ECAT
- Ampliar el disco de arranque a 2 TB NVMe, o a 4 TB
- Ampliar la RAM a 256 GB (4x 64 GB): margen para la caché KV de modelos MoE y servicio simultáneo de varios modelos
- PDU de rack (C13/C19 con medición) y SAI online de 3 kVA
Las preguntas que más nos hacen los compradores antes de pedir un servidor.
¿Cuánto tarda?
Las máquinas construidas con componentes que tenemos en stock se envían rápido; cualquier equipo que requiera una generación concreta de GPU depende del suministro. Le damos una fecha antes de que pague y, si se mueve, se lo decimos en lugar de dejar que lo descubra usted.
¿Se puede cambiar la configuración antes de que lo monten?
Casi siempre. Las GPU, la memoria, el almacenamiento y la refrigeración se eligen para cada pedido, y la configuración indicada es un punto de partida, no un paquete cerrado. Si necesita más VRAM, un almacenamiento más rápido o un enfoque de refrigeración distinto, indíquenoslo antes de realizar el pedido y le presupuestaremos el cambio.
¿Puedo recoger el servidor en persona?
Puede hacerlo. Nuestro almacén está en Praga y la recogida en persona es bienvenida: la mayoría de quienes vienen aprovechan la visita para repasar la máquina con nuestro ingeniero y hacer esas preguntas que resultan incómodas por correo. En los pedidos dentro de la República Checa también intentamos entregar en persona y explicarle la instalación in situ.
¿Puedo hablar con alguien que entienda de verdad la carga de trabajo?
Sí. Contamos con un ingeniero dedicado específicamente a los sistemas de IA, no con un mostrador comercial genérico. Si su pregunta trata sobre tamaños de lote, cuantización, interconexión o dónde estará su cuello de botella, háganosla: esa conversación suele mejorar la configuración.
¿Qué modelo puedo ejecutar en esta configuración?
Sí. Cada máquina se ensambla, se somete a pruebas de burn-in y se evalúa con cargas de trabajo de IA reales antes de enviarse, y sale de nuestras instalaciones con un LLM ya instalado y en funcionamiento. Usted solo tiene que conectarla, enlazarla a su red y ponerse a trabajar: la única decisión que queda es qué proyecto ejecutará primero.
¿Cómo se prueba un servidor antes del envío?
Lo probamos con cargas de trabajo de IA reales, no con puntuaciones sintéticas: rendimiento de inferencia, comportamiento bajo carga sostenida y temperaturas en funcionamiento continuo. Recibirá los resultados de las pruebas junto con la máquina, de modo que el rendimiento prometido sea el rendimiento que usted puede verificar desde el primer día.
¿Llega el servidor listo para funcionar?
Sí. Cada máquina se ensambla, se somete a pruebas de burn-in y se evalúa con cargas de trabajo de IA reales antes de enviarse, y sale de nuestras instalaciones con un LLM ya instalado y en funcionamiento. Usted solo tiene que conectarla, enlazarla a su red y ponerse a trabajar: la única decisión que queda es qué proyecto ejecutará primero.
Se envía desde nuestro almacén de la UE. Los artículos pesados pueden requerir transporte especial: contáctenos para obtener un presupuesto de envío y el plazo de entrega. Garantía limitada de 2 años con soporte RMA avanzado; garantía ampliada disponible.
¿No es exactamente lo que necesita?
Díganos cuál es su carga de trabajo y configuraremos esta plataforma a su medida: GPU, memoria, almacenamiento y refrigeración ajustados a lo que realmente ejecuta.