Kentino AI 192 Rome L40 1448TOPS — 4× NVIDIA L40 — EPYC Milan
Plataforma de nivel empresarial, ensamblada y probada en la UE.
Kentino AI 192 Rome L40 1448TOPS
Servidor de inferencia empresarial con 192 GB ECC
4x NVIDIA L40 pasivas | EPYC Milan | 1 448 TOPS INT8
Cuatro tarjetas de centro de datos L40 pasivas con memoria ECC. El mismo pool de 192 GB que 8x RTX 4090, pero de grado centro de datos, protegido con ECC y con garantía OEM.
Un servidor de inferencia de montaje en rack 4U con cuatro tarjetas NVIDIA L40 pasivas agrupadas en 192 GB de VRAM ECC, una CPU AMD EPYC 7643 Milan (48C/96T), 256 GB DDR4 ECC, arranque NVMe de 2 TB y dos fuentes de alimentación ATX de 2 kW sincronizadas. La L40 es la hermana de centro de datos de la RTX 4090: refrigeración pasiva, memoria ECC, codificadores por hardware NVENC/NVDEC integrados y garantía OEM de NVIDIA de 3 años. Ejecuta vLLM, SGLang, llama.cpp, Triton y TensorRT-LLM desde el primer momento.
Hardware
| Componente | Detalle |
|---|---|
| GPU | 4x NVIDIA L40 48 GB ECC GDDR6 (Ada Lovelace, pasiva, 300 W, doble slot, PCIe 4.0 x16) |
| Pool de VRAM | 192 GB ECC repartidos entre 4 tarjetas (la L40 no tiene NVLink) |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128 carriles PCIe 4.0) |
| Placa base | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| RAM del sistema | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Arranque / almacenamiento | NVMe M.2 de 2 TB (PCIe 4.0 x4) |
| Fuente de alimentación | Dos fuentes ATX de 2 kW con cable de sincronización |
| Chasis | Montaje en rack 4U con flujo de aire dirigido de delante hacia atrás |
| Refrigeración | Torre Arctic Freezer 4U-M SP3 + 3x 120 mm de admisión frontal + 1x 120 mm de extracción trasera |
| Red | Doble 10 GbE integrada (Intel X550) |
Consumo eléctrico
- Consumo de GPU: 4 x 300 W = 1 200 W
- Total del sistema a plena carga: ~1 525 W
- Total de las fuentes: 4 000 W (dos de 2 kW sincronizadas) — 61.9 % de margen
- Doble fuente para reparto de la alimentación y capacidad N+1
Topología de carriles
PCIe Gen4 x16 por tarjeta (la L40 es Gen4 nativa). Conexión directa al root complex desde un único EPYC, sin conmutador PCIe. Sin NVLink: el tráfico entre GPU circula por PCIe peer-to-peer. Quedan libres tres slots x16 para ampliación de red o almacenamiento.
Qué puede ejecutar
Con 192 GB de VRAM ECC repartidos entre 4 tarjetas de centro de datos, este servidor asume modelos MoE frontera de más de 200B en Q4, servicio multiinquilino empresarial con SLA estricto e inferencia en producción 24/7 sin la deriva por cambios de bit que evita el ECC.
LLM: texto / razonamiento / programación
Frontera china
- Qwen3 / Qwen3.5 (Alibaba): Qwen3-235B-A22B Q4 (~132 GB) con contexto largo, la configuración estrella (~12-18 tok/s en flujo único sobre 4x L40); Qwen3-Coder-480B-A35B Q2 (~160 GB, justo); Qwen3.5-122B-A10B fp8 (~75 GB) con un KV enorme; Qwen3-32B denso bf16 con varios flujos simultáneos
- DeepSeek: DeepSeek-V3/R1/V3.1/V3.2 Q2 (~215 GB con un pequeño desbordamiento a RAM); DeepSeek-R2 32B: 4 flujos simultáneos, uno por tarjeta
- GLM / Z.ai: GLM-4.5 / 4.6 / 4.7 Q4 (~177 GB), el punto dulce de esta gama; GLM-4.5-Air 106B/12B fp8 o bf16
- Tencent Hunyuan: Hunyuan-Large Q3 (~160 GB), MoE de 389B con 256k de contexto; Hunyuan-A13B fp8 (~80 GB) con un KV enorme
- Baidu ERNIE-4.5-424B Q3 (~180 GB); InternVL3.5-241B-A28B Q4 (~135 GB); Qwen3.5-397B Q3 (~170 GB)
Frontera occidental
- Meta Llama: Llama 3.3 70B bf16 con un KV muy amplio (~15-18 tok/s en flujo único sobre 4x L40); Llama 4 Scout bf16 (~218 GB), justo; Llama 4 Maverick 400B/17B Q3 (~188 GB)
- Mistral: Mistral Large 2 / Pixtral Large / Devstral 2 123B Q6 (~102 GB) con holgura; Mistral Small 3 en multiflujo
- OpenAI (pesos abiertos): gpt-oss-120b MXFP4 (80 GB) con un KV generoso
- NVIDIA Nemotron: Llama-3.1-Nemotron Ultra 253B Q4 (~147 GB); Super 49B bf16 con varios flujos
- Google Gemma 3: 27B multimodal bf16, con varios flujos residentes
- Otros: Cohere Command R+ 104B Q6 (~85 GB); OLMo 3.1 32B; Reka Flash 3 21B; IBM Granite 4.0 H-Small
Modelos de visión y lenguaje
InternVL3.5-241B-A28B Q4 (~135 GB); Qwen3-VL-235B-A22B Q4; Qwen3-VL-32B bf16; Llama 3.2 90B Vision bf16 (~180 GB); Pixtral Large 124B Q6-bf16; Molmo 72B bf16; GLM-4.6V 106B fp8; Gemma 3 27B multimodal con varios flujos; InternVL3 78B bf16; DeepSeek-VL2 en toda su gama.
Generación de imagen
FLUX.1 [dev] / [schnell] bf16 con generación simultánea (~3-4 s por imagen de 1024x1024 en L40); FLUX.1 Kontext [dev]; FLUX Tools; SD 3.5 Large bf16 x 2-3 simultáneos; HunyuanImage-2.1 bf16 (~34 GB) en multiflujo; HunyuanImage-3.0 base (MoE de 80B, 13B activos) bf16 (~80 GB); HunyuanDiT; Kolors / Kolors 2.0; AuraFlow; OmniGen v1; PixArt-Sigma.
Generación de vídeo
Wan 2.2 T2V-A14B / I2V-A14B MoE bf16 con doble experto y contexto completo; Wan 2.2 TI2V-5B en ruta rápida; HunyuanVideo 13B bf16 con ambos expertos; HunyuanVideo 1.5; CogVideoX-5B bf16; Open-Sora 2.0 11B bf16; Mochi-1 bf16 (~42 GB) en multiflujo; LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.
Audio / voz / TTS
- ASR: Whisper v3 large / turbo (~50x tiempo real); Parakeet-TDT; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2/3; Kokoro 82M; XTTS v2; Stable Audio Open; Step-Audio-EditX
- Tiempo real / S2S: Kyutai Moshi 7B; Step-Audio 2 mini/R1; Qwen2.5-Omni-7B
- Música / efectos: MusicGen / AudioGen / Bark; SeamlessM4T v2
Servicio multimodelo y multiinquilino
- Pasarela LLM de producción empresarial: Qwen3-235B Q4 o GLM-4.5/4.6 Q4 atendiendo a 16-32 usuarios simultáneos con SLA estricto
- Pila residente mixta: MoE de 235B + FLUX.1 + Whisper-turbo + Moshi con VRAM particionada y protección ECC
- Vídeo en directo y canalización de IA: los codificadores por hardware NVENC/NVDEC alimentan 6-8 flujos paralelos de subtitulado y moderación
- RAG multiinquilino: embedder del lado de la consulta + lector de 70B + reranker con latencia P99 por debajo del segundo
Cargas de trabajo objetivo
- Inferencia LLM en producción 24/7 con un pool de 192 GB (Qwen3-235B Q4, GLM-4.5/4.6/4.7 Q4, Llama 4 Scout bf16)
- Servicio multiinquilino empresarial con SLA estricto: fiabilidad ECC en ejecuciones prolongadas
- RAG y servicio de bases de datos vectoriales con modelos de recuperación de alta calidad en paralelo
- Canalizaciones de IA para medios y vídeo: ruta por hardware NVENC / NVDEC, renderizado de VFX, transcripción y traducción
- Despliegues silenciosos en centro de datos: tarjetas pasivas y perfil acústico bajo cerca de espacios de oficina
Rendimiento medido
Referencias publicadas | ficha técnica de NVIDIA L40 + benchmarks de la comunidad
| Benchmark | Resultado |
|---|---|
| TOPS INT8 por tarjeta (ficha técnica de NVIDIA) | 362 TOPS |
| TOPS INT8 agregados (4 tarjetas) | 1 448 TOPS |
| VRAM por tarjeta | 48 GB ECC GDDR6, 864 GB/s de ancho de banda |
| Llama 3.3 70B Q6 con vLLM (comunidad) | 30-50 tok/s en flujo único, más de 150 tok/s con lote de 16 |
| FLUX.1 [dev] bf16 en L40 (comunidad) | ~3-4 s por imagen de 1024x1024 |
| NVENC / NVDEC | Codificadores por hardware de 8.ª generación integrados (canalización de vídeo con IA) |
Referencias externas publicadas, no medidas en hardware de Kentino. Kentino publicará cifras propias tras el primer equipo entregado a un cliente.
No es lo ideal para
- Entrenar modelos grandes desde cero (sin NVLink y con cómputo tensorial FP8 limitado)
- Inferencia económica para un solo usuario (4x L4 o 2x L40 salen bastante más baratas)
- Modelos densos bf16 de 70B con contexto muy largo en un único modelo: es preferible 2x RTX Pro 6000 Server Edition (mismo pool de 192 GB, menos sobrecarga de paralelismo tensorial)
Garantía y plazo de entrega
Garantía OEM de NVIDIA de 3 años sobre la L40 más la garantía de integración de Kentino. El montaje incluye ensamblaje, configuración de la BIOS, instalación de controladores, pruebas de burn-in y verificación funcional. El plazo de entrega depende de la disponibilidad de componentes y se confirma en el pedido.
Complementos recomendados
- Ampliar la RAM a 512 GB (añadir 4x 64 GB DDR4; quedan cuatro zócalos DIMM libres)
- NVMe de 4 TB para alojar la biblioteca de modelos
- Armario rack completo de 24U con PDU gestionada y SAI online de 5 kVA
Las preguntas que más nos hacen los compradores antes de pedir un servidor.
¿Cuánto tarda?
Las máquinas construidas con componentes que tenemos en stock se envían rápido; cualquier equipo que requiera una generación concreta de GPU depende del suministro. Le damos una fecha antes de que pague y, si se mueve, se lo decimos en lugar de dejar que lo descubra usted.
¿Se puede cambiar la configuración antes de que lo monten?
Casi siempre. Las GPU, la memoria, el almacenamiento y la refrigeración se eligen para cada pedido, y la configuración indicada es un punto de partida, no un paquete cerrado. Si necesita más VRAM, un almacenamiento más rápido o un enfoque de refrigeración distinto, indíquenoslo antes de realizar el pedido y le presupuestaremos el cambio.
¿Puedo recoger el servidor en persona?
Puede hacerlo. Nuestro almacén está en Praga y la recogida en persona es bienvenida: la mayoría de quienes vienen aprovechan la visita para repasar la máquina con nuestro ingeniero y hacer esas preguntas que resultan incómodas por correo. En los pedidos dentro de la República Checa también intentamos entregar en persona y explicarle la instalación in situ.
¿Puedo hablar con alguien que entienda de verdad la carga de trabajo?
Sí. Contamos con un ingeniero dedicado específicamente a los sistemas de IA, no con un mostrador comercial genérico. Si su pregunta trata sobre tamaños de lote, cuantización, interconexión o dónde estará su cuello de botella, háganosla: esa conversación suele mejorar la configuración.
¿Qué modelo puedo ejecutar en esta configuración?
Sí. Cada máquina se ensambla, se somete a pruebas de burn-in y se evalúa con cargas de trabajo de IA reales antes de enviarse, y sale de nuestras instalaciones con un LLM ya instalado y en funcionamiento. Usted solo tiene que conectarla, enlazarla a su red y ponerse a trabajar: la única decisión que queda es qué proyecto ejecutará primero.
¿Cómo se prueba un servidor antes del envío?
Lo probamos con cargas de trabajo de IA reales, no con puntuaciones sintéticas: rendimiento de inferencia, comportamiento bajo carga sostenida y temperaturas en funcionamiento continuo. Recibirá los resultados de las pruebas junto con la máquina, de modo que el rendimiento prometido sea el rendimiento que usted puede verificar desde el primer día.
¿Llega el servidor listo para funcionar?
Sí. Cada máquina se ensambla, se somete a pruebas de burn-in y se evalúa con cargas de trabajo de IA reales antes de enviarse, y sale de nuestras instalaciones con un LLM ya instalado y en funcionamiento. Usted solo tiene que conectarla, enlazarla a su red y ponerse a trabajar: la única decisión que queda es qué proyecto ejecutará primero.
Se envía desde nuestro almacén de la UE. Los artículos pesados pueden requerir transporte especial: contáctenos para obtener un presupuesto de envío y el plazo de entrega. Garantía limitada de 2 años con soporte RMA avanzado; garantía ampliada disponible.
¿No es exactamente lo que necesita?
Díganos cuál es su carga de trabajo y configuraremos esta plataforma a su medida: GPU, memoria, almacenamiento y refrigeración ajustados a lo que realmente ejecuta.