Kentino AI 96 Rome 4090 2644TOPS — servidor de inferencia de IA 4× RTX 4090
Plataforma de nivel empresarial, ensamblada y probada en la UE.
Kentino AI 96 Rome 4090 2644TOPS
Servidor de inferencia con 96 GB de VRAM
4x RTX 4090 | EPYC Rome | 2 644 TOPS INT8
Medido en hardware Kentino. Llama 3.3 70B AWQ INT4 con vLLM 0.19.0.
Servidor de inferencia de 4U para rack con cuatro GeForce RTX 4090 agrupadas en 96 GB de VRAM, una CPU AMD EPYC 7542 Rome (32C/64T), 256 GB DDR4 ECC, NVMe de arranque de 2 TB y doble fuente de alimentación ATX de 2 kW sincronizada. Ejecuta vLLM, SGLang, llama.cpp, ComfyUI y todos los stacks de inferencia de pesos abiertos relevantes sin configuración adicional.
Hardware
| Componente | Detalle |
|---|---|
| GPU | 4x NVIDIA GeForce RTX 4090 24 GB GDDR6X (450 W, PCIe 4.0 x16) |
| Pool de VRAM | 96 GB en total entre las 4 tarjetas |
| CPU | AMD EPYC 7542 Rome (32C/64T, 225 W, 128 líneas PCIe 4.0) |
| Placa base | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| RAM del sistema | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Almacenamiento | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Fuente de alimentación | Doble ATX de 2 kW con cable de sincronización |
| Chasis | 4U para rack, flujo de aire dirigido de delante hacia atrás |
| Refrigeración | Disipador tipo torre SP3, 3x ventiladores industriales frontales de 120 mm + 1x trasero |
| Red | Doble 10 GbE integrado (Intel X550) |
Consumo eléctrico
- Consumo de las GPU: 4 x 450 W = 1 800 W
- Total del sistema: ~2 125 W
- Total de las fuentes: 4 000 W (dos de 2 kW) — 46.9% de margen
- Entrega de energía repartida: el fallo de una fuente supone perder 2 GPU, o 2 GPU más la placa base
Topología de líneas PCIe
128 líneas PCIe Gen4 desde el EPYC hacia siete ranuras x16; cuatro ocupadas por GPU a Gen4 x16. Sin conmutador PCIe. Sin NVLink: comunicación entre tarjetas a 19-22 GB/s (medido por Kentino).
Qué puede ejecutar
Con 96 GB de VRAM agrupada entre 4 tarjetas, este servidor maneja LLM de pesos abiertos, modelos de visión, generación de imagen y vídeo, IA de voz y servicio multiinquilino.
LLM: texto / razonamiento / programación
Vanguardia china
- Qwen3 / Qwen3.5: Qwen3-72B Q4 (~15-20 tok/s); Qwen3-32B Q6; Qwen3-30B-A3B MoE Q4-Q6; Qwen3-Coder-30B-A3B a 256k; Qwen3.5-122B-A10B Q4; QwQ-32B
- DeepSeek: DeepSeek-R2 32B Q4-Q6 (92.7% en AIME 2025); DeepSeek-R1-Distill-Qwen-32B bf16; DeepSeek-V2-Lite 16B
- GLM / Z.ai: GLM-4.5-Air 106B/12B Q4-Q5; GLM-4.6V-Flash; GLM-Zero 9B
- Hunyuan: Hunyuan-A13B Q4-Q6 (~48 GB), contexto de 256k y razonamiento de doble modo
- Otros: Seed-OSS-36B Q4 con contexto de 512k; ERNIE-4.5-47B-A3B Q4; Yi-34B Q6; Baichuan-M2-32B; Step-3.5-Flash
Vanguardia occidental
- Meta Llama: Llama 3.3 70B Q4_K_M (~20 tok/s en llama.cpp, ~179 tok/s en lote-32 con vLLM — medido por Kentino); Llama 3.1 8B bf16 (~80-120 tok/s); Llama 4 Scout Q4
- Mistral: Small 3 24B bf16; Magistral Small 24B de razonamiento; Devstral Small 2 24B con contexto de 256k; Mixtral 8x7B Q6
- OpenAI: gpt-oss-20b MXFP4 (16 GB); gpt-oss-120b MXFP4 (80 GB, justo)
- Otros: Gemma 3 27B Q6 128k; Phi-4 14B bf16; Nemotron-Super 49B Q4; Granite 4.0 H-Small; OLMo 2 32B; Reka Flash 3; Command R 35B
Modelos de visión y lenguaje
Qwen3-VL-8B/32B, Qwen3-VL-30B-A3B, Qwen3-Omni-30B-A3B; InternVL3 hasta 78B Q4; InternVL3.5-38B; DeepSeek-VL2; Llama 3.2 11B Vision; Pixtral 12B; Molmo 7B; Gemma 3 12B/27B; PaliGemma 2; MiniCPM-V 2.6 / MiniCPM-o 2.6.
Generación de imagen
FLUX.1 [dev]/[schnell] fp8 (~15-25 s por imagen de 1024x1024); FLUX.1 Kontext; FLUX Tools; SD 3.5 Large; SDXL; HunyuanImage-2.1 bf16 (~34 GB) en 2K nativo; Kolors 2.0; AuraFlow; OmniGen v1.
Generación de vídeo
Wan 2.2 T2V-A14B/I2V-A14B MoE (~54 GB bf16); Wan 2.2 TI2V-5B 720p@24fps; HunyuanVideo 13B Q4-Q5; HunyuanVideo 1.5; CogVideoX-5B; Open-Sora 2.0; Mochi-1; LTX-Video; SVD/SV3D/SV4D; NVIDIA Cosmos Predict 2.
Audio / voz / TTS
- ASR: Whisper v3 turbo (~50x en tiempo real); Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 3.0; Kokoro 82M; Stable Audio Open; Step-Audio-EditX
- Tiempo real: Kyutai Moshi (dúplex completo con 200 ms); Step-Audio 2 mini; Qwen2.5-Omni-7B
- Música: MusicGen; AudioGen; Suno Bark; SeamlessM4T v2
Servicio multimodelo
- De 4 a 8 usuarios simultáneos en LLM de 32-72B mediante vLLM / SGLang con paralelismo de tensores
- Mixto: Qwen3-32B + FLUX.1 + Whisper-turbo + Moshi con la VRAM particionada
- Ajuste fino LoRA/QLoRA de 32-72B; de parámetros completos en 7-14B
- RAG con Command R+ o Qwen3 + BGE-M3/E5/Jina
Cargas de trabajo objetivo
- Pasarela de inferencia para una organización de 50-200 puestos (70B Q4-Q6, de 4 a 8 sesiones simultáneas)
- Pipeline por lotes de difusión y vídeo (SDXL + FLUX.1 + Wan 2.2 durante la noche)
- Laboratorio de ajuste fino LoRA/QLoRA para adaptaciones de dominio de 7-34B
- Asistente documental RAG (Qwen3-VL + BGE-M3 + Command R, contexto de 32k)
- Todo en una sola máquina: chat + imagen + ASR + voz en tiempo real con la VRAM particionada
Rendimiento medido
Banco de pruebas Kentino | 2026-04-10 | 4x RTX 4090 + EPYC 7542 + ROMED8-2T
| Prueba | Resultado |
|---|---|
| Cálculo sostenido (fp16) | 647.7 TFLOPS |
| vLLM Llama 3.3 70B AWQ INT4 (petición única) | 8.0 tok/s |
| vLLM Llama 3.3 70B AWQ INT4 (lote-32) | 179.3 tok/s agregados |
| llama.cpp Llama 3.3 70B Q4_K_M (petición única) | 20.3 tok/s |
| Evaluación del prompt | 1 568 tok/s |
| Ancho de banda de memoria de la GPU | 920 GB/s por tarjeta |
| Lectura/escritura NVMe | 4 589 / 4 213 MB/s |
| Pico térmico (estrés de GPU+CPU) | 73 C, caída del 0.6% |
vLLM utilizó el kernel awq; con awq_marlin es posible multiplicar por 2-3.
No es la mejor opción para
- Modelos densos de vanguardia de más de 100B en bf16 (DeepSeek V3/R1, GLM-4.5+, Kimi-K2, Mistral Large 3: necesitan más de 256 GB de VRAM)
- Entrenamiento desde cero (las RTX 4090 de consumo no tienen NVLink)
Garantía y plazo de entrega
El montaje incluye ensamblaje, configuración de la BIOS, instalación de controladores, pruebas de rodaje y verificación funcional. El plazo de entrega depende de la disponibilidad de componentes y se confirma al realizar el pedido.
Complementos recomendados
- Ampliar la RAM a 512 GB (añadir 4x 64 GB DDR4: quedan cuatro zócalos DIMM libres)
- Unidad NVMe secundaria de 4 TB para preparar conjuntos de datos y modelos
- Armario abierto de 24U para despliegues con varios servidores
Las preguntas que más nos hacen los compradores antes de pedir un servidor.
¿Cuánto tarda?
Las máquinas construidas con componentes que tenemos en stock se envían rápido; cualquier equipo que requiera una generación concreta de GPU depende del suministro. Le damos una fecha antes de que pague y, si se mueve, se lo decimos en lugar de dejar que lo descubra usted.
¿Se puede cambiar la configuración antes de que lo monten?
Casi siempre. Las GPU, la memoria, el almacenamiento y la refrigeración se eligen para cada pedido, y la configuración indicada es un punto de partida, no un paquete cerrado. Si necesita más VRAM, un almacenamiento más rápido o un enfoque de refrigeración distinto, indíquenoslo antes de realizar el pedido y le presupuestaremos el cambio.
¿Puedo recoger el servidor en persona?
Puede hacerlo. Nuestro almacén está en Praga y la recogida en persona es bienvenida: la mayoría de quienes vienen aprovechan la visita para repasar la máquina con nuestro ingeniero y hacer esas preguntas que resultan incómodas por correo. En los pedidos dentro de la República Checa también intentamos entregar en persona y explicarle la instalación in situ.
¿Puedo hablar con alguien que entienda de verdad la carga de trabajo?
Sí. Contamos con un ingeniero dedicado específicamente a los sistemas de IA, no con un mostrador comercial genérico. Si su pregunta trata sobre tamaños de lote, cuantización, interconexión o dónde estará su cuello de botella, háganosla: esa conversación suele mejorar la configuración.
¿Qué modelo puedo ejecutar en esta configuración?
Sí. Cada máquina se ensambla, se somete a pruebas de burn-in y se evalúa con cargas de trabajo de IA reales antes de enviarse, y sale de nuestras instalaciones con un LLM ya instalado y en funcionamiento. Usted solo tiene que conectarla, enlazarla a su red y ponerse a trabajar: la única decisión que queda es qué proyecto ejecutará primero.
¿Cómo se prueba un servidor antes del envío?
Lo probamos con cargas de trabajo de IA reales, no con puntuaciones sintéticas: rendimiento de inferencia, comportamiento bajo carga sostenida y temperaturas en funcionamiento continuo. Recibirá los resultados de las pruebas junto con la máquina, de modo que el rendimiento prometido sea el rendimiento que usted puede verificar desde el primer día.
¿Llega el servidor listo para funcionar?
Sí. Cada máquina se ensambla, se somete a pruebas de burn-in y se evalúa con cargas de trabajo de IA reales antes de enviarse, y sale de nuestras instalaciones con un LLM ya instalado y en funcionamiento. Usted solo tiene que conectarla, enlazarla a su red y ponerse a trabajar: la única decisión que queda es qué proyecto ejecutará primero.
Se envía desde nuestro almacén de la UE. Los artículos pesados pueden requerir transporte especial: contáctenos para obtener un presupuesto de envío y el plazo de entrega. Garantía limitada de 2 años con soporte RMA avanzado; garantía ampliada disponible.
¿No es exactamente lo que necesita?
Díganos cuál es su carga de trabajo y configuraremos esta plataforma a su medida: GPU, memoria, almacenamiento y refrigeración ajustados a lo que realmente ejecuta.