Kentino AI 288 Rome L40 — 6× NVIDIA L40 Passive Enterprise (288 GB de VRAM ECC)
Plataforma de nivel empresarial, ensamblada y probada en la UE.
Kentino AI 288 Rome L40 2172TOPS
Servidor empresarial con 288 GB de VRAM ECC
6x NVIDIA L40 pasivas | EPYC Milan | 2 172 TOPS INT8
Referencias externas publicadas. No medidas en hardware de Kentino.
Servidor de inferencia empresarial de 4U para rack con seis tarjetas NVIDIA L40 Ada Lovelace pasivas de centro de datos (48 GB ECC cada una) agrupadas en 288 GB de VRAM ECC, una CPU AMD EPYC 7643 Milan (48C/96T), 384 GB DDR4-2666 ECC, arranque en NVMe de 2 TB y doble fuente de alimentación ATX de 2.5 kW sincronizada. ECC de extremo a extremo, concebido para producción empresarial 24/7 donde importan la integridad a nivel de bit y unos dominios de fallo reparables.
Hardware
| Componente | Detalle |
|---|---|
| GPU | 6x NVIDIA L40 de 48 GB ECC (Ada Lovelace, pasivas de centro de datos, 300 W, PCIe 4.0 x16, doble ranura, 362 TOPS INT8 por tarjeta) |
| Pool de VRAM | 288 GB ECC agregados entre 6 tarjetas (el modelo L40 PCIe no lleva NVLink) |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128 líneas PCIe 4.0) |
| Placa base | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| RAM del sistema | 384 GB DDR4-2666 ECC RDIMM (6x 64 GB — 2 zócalos DIMM libres para ampliar a 512 GB) |
| Arranque / almacenamiento | NVMe M.2 de 2 TB (PCIe 4.0 x4) |
| Fuente de alimentación | 2x ATX de 2.5 kW con cable de sincronización de doble fuente (5 kW en total) |
| Chasis | Rack de 4U (disposición de 6 ranuras) |
| Refrigeración | Disipador torre SP3 (clase Arctic Freezer 4U-M) + flujo de aire dirigido de delante hacia atrás (ventiladores industriales) |
| Red | Doble 10 GbE integrado (Intel X550) |
Envolvente de potencia
- Consumo de las GPU: 6 x 300 W = 1 800 W
- Total del sistema a plena carga: ~2 175 W
- Total de las fuentes: 5 000 W (dos de 2.5 kW sincronizadas) — 56.5% de margen
- Doble fuente para repartir la entrega de potencia — el fallo de una sola fuente supone perder 2 GPU, o 2 GPU más la placa base
Topología de líneas PCIe
La ROMED8-2T expone 7x PCIe 4.0 x16 directos desde el EPYC Milan. Seis ranuras ocupadas con risers pasivos Gen4 x16 y una ranura libre para NIC o almacenamiento. No hace falta ningún conmutador PCIe. El enlace nativo de la L40 es PCIe 4.0 x16, sin pérdida de ancho de banda. Sin NVLink; el tráfico entre GPU va por PCIe de igual a igual.
Qué puede ejecutar
Con 288 GB de VRAM ECC agrupada entre 6 tarjetas L40 pasivas, este servidor asume LLM punteros de pesos abiertos en Q4, servicio concurrente de varios modelos, cadenas de vídeo y medios e inferencia de producción empresarial 24/7. Nota: la L40 es Ada Lovelace, no Blackwell, y el fp8 se promociona a bf16. Use GGUF Q4/Q5 o AWQ/GPTQ int4 para aprovechar al máximo la VRAM.
LLM — texto / razonamiento / programación
Punta de lanza china
- Qwen3-235B-A22B Q4 (~132 GB) con contexto muy largo y un presupuesto de KV generoso (~15-20 tok/s en una sola sesión, referencia publicada)
- GLM-4.5 / 4.6 / 4.7 Q4 (~177 GB) holgado con paralelismo tensorial a 6 vías (~12-18 tok/s en una sola sesión, referencia publicada)
- Hunyuan-Large 389B/52B en Q3 (~160 GB); ERNIE-4.5-424B-A47B Q3 (~180 GB)
- Qwen3-Coder-480B-A35B Q2 (~160 GB), agente de programación insignia
- MiniMax-M1 / Text-01 Q3 (~180 GB) con Lightning Attention y 1M de contexto
- Qwen3-30B-A3B / QwQ-32B / Qwen3-32B — en una sola tarjeta, con 6 flujos en paralelo
- DeepSeek-R2 MoE disperso de 32B — una tarjeta por flujo, 6 sesiones simultáneas
Punta de lanza occidental
- Llama 3.3 70B bf16 (~142 GB) para servicio multiinquilino (~17 tok/s en una sola sesión, referencia publicada), o Q4 (~43 GB) con 6 copias simultáneas
- Llama 4 Scout 109B/17B en bf16 (~218 GB, justo) o en Q4 (~63 GB, holgado)
- Mistral Small 3 / Magistral / Devstral Small (24B) en bf16 (~40-50 tok/s en una sola sesión, referencia publicada)
- Pixtral Large / Mistral Large 2 Q6-Q8 (~90-140 GB)
- Llama-3.1-Nemotron Ultra 253B Q4 (~119 GB)
- gpt-oss-120b MXFP4 (~80 GB vía GGUF en Ada — atención a la promoción de precisión de Ada)
- Cohere Command R+ pila RAG de 104B en Q4
Modelos de visión y lenguaje
Qwen3-VL-235B-A22B en Q4; Qwen3-VL-32B; InternVL3.5-78B / 241B-A28B en Q4 (~135 GB); Llama 3.2 90B Vision en bf16 (~180 GB); Pixtral 12B; Molmo 72B; Gemma 3 12B/27B multimodal; GLM-4.6V completo (106B bf16); MiniCPM-o 2.6. El NVENC/NVDEC de la L40 resulta especialmente útil en cadenas VLM de documentos y vídeo de alto rendimiento.
Generación de imágenes
FLUX.1 [dev] / Kontext / Tools en varios workers simultáneos (~3.5 s por imagen de 1024x1024 en una sola L40 en fp8, referencia publicada); es posible montar una granja de 6 workers de ComfyUI; SD 3.5 Large; HunyuanImage-2.1 (17B) en bf16; HunyuanDiT; Kolors 2.0; AuraFlow; OmniGen.
Generación de vídeo
Wan 2.2 T2V-A14B / I2V-A14B de doble experto en bf16 (~54 GB, ~20-30 s por clip de 4 s a 720p, referencia publicada); HunyuanVideo 13B en bf16 con ambos expertos; Open-Sora 2.0 en bf16; CogVideoX-5B; Mochi-1; LTX-Video; Pyramid Flow; NVIDIA Cosmos Predict 2. El NVENC/NVDEC por hardware de la L40 se encarga del subtitulado, la moderación y la transcodificación a gran escala en paralelo con la generación.
Audio / voz / TTS
- ASR: Whisper v3 large / turbo; Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2/3; Kokoro 82M; Stable Audio Open; XTTS v2; Step-Audio-EditX
- Tiempo real / S2S: Kyutai Moshi; Step-Audio 2 mini / R1; Qwen2.5-Omni-7B
Servicio multimodelo y multiinquilino
- Varios modelos residentes a la vez: Qwen3-235B en Q4 + FLUX.1 + HunyuanVideo + Whisper-turbo + Moshi + un generador de embeddings, todos en memoria
- 6 cargas de trabajo simultáneas de clase 48 GB (una por tarjeta): 6x Qwen3-VL-32B, 6 workers de FLUX.1 o 6 flujos de ASR
- Paralelismo tensorial a 6 vías para MoE de más de 200B en Q4 con contexto real
- Cadenas RAG: Command R+ / Qwen3 + reordenador + generador de embeddings + análisis de imagen en el mismo host
Cargas de trabajo previstas
- Backend de inferencia LLM en producción 24/7: más de 100 usuarios simultáneos sobre un MoE de más de 200B en Q4, protegido con ECC
- Cadena de medios con IA a escala empresarial: subtitulado, moderación, miniaturas y transcodificación en 6 flujos paralelos vía NVENC/NVDEC
- SaaS multiinquilino en el que importa aislar cada inquilino en tarjetas físicas distintas
- Backend RAG con lector Command R+, reordenador, generador de embeddings y visión completamente residentes
- Pareja orientada a la fiabilidad que sustituye al 12x L40 Legacy: dos servidores Kentino AI 288 suman 576 GB con dominios de fallo independientes
Referencias de rendimiento publicadas
Referencias externas | No medidas en hardware de Kentino
| Prueba | Resultado |
|---|---|
| TOPS INT8 por tarjeta L40 | 362 TOPS |
| Ancho de banda de memoria de la L40 | 864 GB/s por tarjeta |
| vLLM — Llama 3.3 70B AWQ INT4 en 2x L40 con paralelismo tensorial (una sesión) | ~25-35 tok/s |
| vLLM — Llama 3.3 70B AWQ INT4 en 2x L40 con paralelismo tensorial (lote de 16) | ~150-200 tok/s agregados |
| llama.cpp — GLM-4.6 Q4 en 6x L40 (una sesión) | ~12-18 tok/s |
| FLUX.1 [dev] en una sola L40 en fp8 | ~3.5 s por imagen de 1024x1024 |
Kentino publicará cifras propias tras la primera unidad construida para cliente.
No es la opción ideal para
- Inferencia nativa en fp8 a pleno rendimiento: Ada promociona a bf16; use en su lugar GGUF Q4/Q5 o AWQ/GPTQ int4. Para fp8 nativo, vea el Kentino AI 384 Rome RTXPro6000 (Blackwell)
- Entrenar modelos grandes desde cero (no hay NVLink)
- Inferencia económica para un solo usuario: 4x L4 o 4x 5080 salen bastante más baratas para cargas pequeñas
- Modelos densos punteros de más de 600B en Q4 o superior (exigen un pool de más de 576 GB; vea la configuración de 6x RTX Pro 6000)
Garantía y plazo de entrega
El montaje incluye ensamblaje, configuración de la BIOS, instalación de controladores, rodaje, memtest y verificación funcional. El plazo de entrega depende de la disponibilidad de componentes y se confirma al realizar el pedido.
Complementos recomendados
- Ampliar la RAM a 512 GB DDR4 (añadiendo 2x 64 GB en los 2 zócalos DIMM libres) para un presupuesto de KV mayor
- NVMe Gen4 x4 de 4 TB para preparar la biblioteca de modelos
- Armario rack completo de 24U con PDU gestionada y SAI en línea (imprescindible para cargas ECC 24/7)
- Una segunda unidad Kentino AI 288 emparejada: sustituye la envolvente del 12x L40 Legacy por dos dominios de fallo independientes
Las preguntas que más nos hacen los compradores antes de pedir un servidor.
¿Cuánto tarda?
Las máquinas construidas con componentes que tenemos en stock se envían rápido; cualquier equipo que requiera una generación concreta de GPU depende del suministro. Le damos una fecha antes de que pague y, si se mueve, se lo decimos en lugar de dejar que lo descubra usted.
¿Se puede cambiar la configuración antes de que lo monten?
Casi siempre. Las GPU, la memoria, el almacenamiento y la refrigeración se eligen para cada pedido, y la configuración indicada es un punto de partida, no un paquete cerrado. Si necesita más VRAM, un almacenamiento más rápido o un enfoque de refrigeración distinto, indíquenoslo antes de realizar el pedido y le presupuestaremos el cambio.
¿Puedo recoger el servidor en persona?
Puede hacerlo. Nuestro almacén está en Praga y la recogida en persona es bienvenida: la mayoría de quienes vienen aprovechan la visita para repasar la máquina con nuestro ingeniero y hacer esas preguntas que resultan incómodas por correo. En los pedidos dentro de la República Checa también intentamos entregar en persona y explicarle la instalación in situ.
¿Puedo hablar con alguien que entienda de verdad la carga de trabajo?
Sí. Contamos con un ingeniero dedicado específicamente a los sistemas de IA, no con un mostrador comercial genérico. Si su pregunta trata sobre tamaños de lote, cuantización, interconexión o dónde estará su cuello de botella, háganosla: esa conversación suele mejorar la configuración.
¿Qué modelo puedo ejecutar en esta configuración?
Sí. Cada máquina se ensambla, se somete a pruebas de burn-in y se evalúa con cargas de trabajo de IA reales antes de enviarse, y sale de nuestras instalaciones con un LLM ya instalado y en funcionamiento. Usted solo tiene que conectarla, enlazarla a su red y ponerse a trabajar: la única decisión que queda es qué proyecto ejecutará primero.
¿Cómo se prueba un servidor antes del envío?
Lo probamos con cargas de trabajo de IA reales, no con puntuaciones sintéticas: rendimiento de inferencia, comportamiento bajo carga sostenida y temperaturas en funcionamiento continuo. Recibirá los resultados de las pruebas junto con la máquina, de modo que el rendimiento prometido sea el rendimiento que usted puede verificar desde el primer día.
¿Llega el servidor listo para funcionar?
Sí. Cada máquina se ensambla, se somete a pruebas de burn-in y se evalúa con cargas de trabajo de IA reales antes de enviarse, y sale de nuestras instalaciones con un LLM ya instalado y en funcionamiento. Usted solo tiene que conectarla, enlazarla a su red y ponerse a trabajar: la única decisión que queda es qué proyecto ejecutará primero.
Se envía desde nuestro almacén de la UE. Los artículos pesados pueden requerir transporte especial: contáctenos para obtener un presupuesto de envío y el plazo de entrega. Garantía limitada de 2 años con soporte RMA avanzado; garantía ampliada disponible.
¿No es exactamente lo que necesita?
Díganos cuál es su carga de trabajo y configuraremos esta plataforma a su medida: GPU, memoria, almacenamiento y refrigeración ajustados a lo que realmente ejecuta.