Kentino AI 96 Rome L40 724TOPS — Servidor de inferencia de producción con 2x NVIDIA L40 ECC
Plataforma de nivel empresarial, ensamblada y probada en la UE.
Kentino AI 96 Rome L40 724TOPS
Servidor de producción 2x L40 ECC
96 GB de VRAM ECC | EPYC Milan | 724 TOPS INT8
Equipo de entrada de nivel empresarial ECC 24/7: 2x L40 pasivas, pool de 96 GB de VRAM ECC, alternativa de nivel centro de datos a la gama 4090 para despliegues regulados.
Un servidor de inferencia de clase producción con dos GPU, construido sobre ROMED8-2T / EPYC Milan con dos tarjetas NVIDIA L40 pasivas. Pool de 96 GB de GDDR6 ECC con el mismo margen de VRAM que el caballo de batalla de 4x RTX 4090, pero con certificación completa de centro de datos, memoria ECC en cada tarjeta y un diseño térmico pensado para un ciclo de trabajo 24/7. La elección correcta allí donde una RTX 4090 planteara dudas de garantía, fiabilidad o cumplimiento normativo: finanzas, sanidad, verificación formal y cualquier servicio LLM / VLM en producción continua.
Hardware
| Componente | Detalle |
|---|---|
| GPU | 2x NVIDIA L40 48 GB GDDR6 ECC (Ada Lovelace, pasiva, 300 W, doble slot, PCIe 4.0 x16) |
| Pool de VRAM | 96 GB ECC (sin NVLink) |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128 líneas PCIe 4.0) |
| Placa base | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| RAM del sistema | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Arranque / almacenamiento | 1 TB NVMe M.2 (PCIe 4.0 x4) |
| Fuente de alimentación | Una fuente ATX de 2 kW |
| Chasis | Rack 4U, risers pasivos Gen4 x16 |
| Refrigeración | Disipador torre SP3 (Arctic Freezer 4U-M), 3x 120 mm de entrada frontal + 1x 120 mm de extracción trasera |
| Red | Doble 10 GbE integrado (Intel X550) + IPMI |
Consumo eléctrico
- Consumo de GPU: 2 x 300 W = 600 W
- Total del sistema a plena carga: ~925 W
- Total de la fuente: 2 000 W — 53.8 % de margen
- Margen holgado con una sola fuente y funcionamiento silencioso
Topología de líneas
PCIe Gen4 x16 en ambas GPU (la L40 es Gen4 x16 nativa). 16 líneas directas desde el root complex de la CPU, sin conmutador PCIe. La L40 no tiene NVLink: la comunicación entre GPU va por PCIe P2P. 864 GB/s de ancho de banda de memoria por tarjeta.
Qué puede ejecutar
Con 96 GB de VRAM ECC repartidos entre 2 tarjetas L40 pasivas, este servidor soporta el servicio de LLM 24/7 en empresa, despliegues regulados, generación de imagen y vídeo e inferencia multiinquilino donde importan la fiabilidad ECC y la garantía de centro de datos.
LLM: texto, razonamiento y código
Frontera china
- Qwen3-32B bf16 en una sola L40 con margen para 32k de contexto (~18-22 tok/s en flujo único en L40, referencia publicada)
- Qwen3.5-27B bf16; Qwen3-30B-A3B / Qwen3-Coder-30B-A3B bf16 (~60 GB) 256k de contexto
- Qwen3.5-122B-A10B Q4 (~70 GB): buque insignia MoE, contexto largo
- QwQ-32B bf16; Hunyuan-A13B Q6 (~48 GB)
- DeepSeek-R2 32B MoE disperso bf16: viable en una sola GPU, dos flujos en paralelo
- GLM-4.5-Air 106B/12B Q4-Q5 (60-70 GB holgados)
- Seed-OSS-36B bf16: 512k de contexto nativo; ERNIE-4.5-47B-A3B Q6-Q8
- Baichuan-M2-32B bf16 (razonamiento médico: aquí la ECC marca la diferencia)
Frontera occidental
- Llama 3.3 70B Q6 (~58 GB) con margen de KV; Q4_K_M (~43 GB) con contexto muy largo (~15-18 tok/s en flujo único con 2x L40, referencia publicada)
- Hermes 3 70B / Tulu 3 70B Q4-Q6; Llama 4 Scout 109B/17B MoE Q4 (~63 GB)
- Mistral Small 3 / Magistral Small 1.2 / Devstral Small 2 (24B) bf16; Mixtral 8x22B Q3-Q4
- gpt-oss-120b MXFP4 (~80 GB) con espacio para KV
- Gemma 3 27B multimodal bf16 con 128k de contexto
- Phi-4 14B / Phi-4-reasoning / Phi-4-multimodal bf16
- Nemotron-Super 49B Q6-Q8; IBM Granite 4.0 H-Small 32B/9B: cumplimiento normativo empresarial
- Reka Flash 3 21B bf16; OLMo 2 32B / OLMo 3.1-32B-Think bf16
Modelos de visión y lenguaje
Qwen3-VL-8B / 32B, Qwen3-VL-30B-A3B MoE, Qwen3-Omni-30B-A3B; InternVL3 hasta 78B Q4 (~48 GB); InternVL3.5-38B bf16; DeepSeek-VL2; ERNIE-4.5-VL-28B-A3B-Thinking; Llama 3.2 11B Vision bf16; Pixtral 12B bf16; Gemma 3 12B / 27B multimodal; PaliGemma 2 (3/10/28B); MiniCPM-V 2.6 / MiniCPM-o 2.6; GLM-4.6V-Flash; Molmo 72B Q4; Aya Vision 32B.
Generación de imágenes
La L40 cuenta con núcleos tensoriales Ada y 864 GB/s de ancho de banda de memoria por tarjeta: una base sólida para pipelines de imagen en producción: FLUX.1 [dev] / [schnell] fp16 (~24 GB) o fp8 (~12 GB) (~15-25 segundos por imagen de 1024x1024 en fp8, referencia publicada); FLUX.1 Kontext [dev]; FLUX Tools (Fill / Depth / Canny / Redux); SD 3.5 Large (18 GB fp16 / 11 GB fp8); SDXL 1.0 + ControlNet + AnimateDiff; HunyuanImage-2.1 bf16 (~34 GB); Kolors 2.0; AuraFlow v0.3; OmniGen v1; PixArt-Sigma.
Generación de vídeo
HunyuanVideo 13B bf16 cabe en una sola L40 para clips cortos a 720p; Wan 2.2 T2V-A14B / I2V-A14B bf16 (~54 GB) con paralelismo tensorial a 2 vías; Wan 2.2 TI2V-5B bf16 por tarjeta; Wan 2.1 14B fp8 / bf16; HunyuanVideo 1.5 (8.3B) bf16; Open-Sora 2.0 (11B) bf16; CogVideoX-5B / 1.5 bf16; Mochi-1 bf16 (~42 GB); LTX-Video 2B; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.
Audio, voz y TTS
- ASR: Whisper v3 large / turbo (~50x tiempo real en una sola GPU, referencia publicada); Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2 / Fun-CosyVoice 3.0; Kokoro 82M; Stable Audio Open; Coqui XTTS v2; StyleTTS 2; Step-Audio-EditX
- Tiempo real / S2S: Kyutai Moshi (200 ms de latencia, full-duplex); Step-Audio 2 mini / R1 / R1.1; Qwen2.5-Omni-7B
- Música / efectos / traducción: MusicGen; AudioGen; Suno Bark; SeamlessM4T v2; MMS
Servicio multimodelo y multiinquilino
- De 4 a 8 usuarios simultáneos en LLM de clase 32-70B mediante paralelismo tensorial en vLLM o partición por tarjeta
- Pila mixta: Qwen3-32B + FLUX.1 + Whisper-turbo + Moshi residentes con la VRAM particionada
- Inferencia con LoRA y ajuste fino ligero de 7-14B; ajuste completo posible en modelos más pequeños
- Pipelines RAG con Command R / Qwen3 + embeddings BGE-M3 / E5 / Jina
Cargas de trabajo objetivo
- Servicio de LLM 24/7 en empresa: 70B Q4-Q6, Qwen3-32B bf16, Mistral Small 3 bf16
- Despliegues regulados que exigen memoria ECC (finanzas, sanidad, verificación formal)
- Servicio con contexto largo: Seed-OSS-36B con 512k de contexto cabe holgadamente en el pool de 96 GB
- Servicio de MoE de gama media: Hunyuan-A13B Q6, GLM-4.5-Air Q4, Qwen3-30B-A3B bf16
- Procesamiento documental con VLM: InternVL3.5-38B, Pixtral 12B bf16, Qwen3-VL-32B
Referencias de rendimiento publicadas
Referencia publicada | hardware comparable con 2x NVIDIA L40
| Prueba | Resultado |
|---|---|
| Llama 3.3 70B Q4_K_M repartido entre 2x L40 | ~15-18 tok/s en flujo único |
| Qwen3-32B bf16 en una sola L40 | ~18-22 tok/s en flujo único |
| vLLM con Hunyuan-A13B Q6 sobre el pool de 2x L40 | ~28-34 tok/s en flujo único |
| HunyuanVideo 13B bf16 en una sola L40 | clip corto a 720p: cabe en 48 GB |
| Métricas por tarjeta | 362 TOPS INT8, 864 GB/s, 300 W de TDP |
Cifras publicadas, no medidas en hardware de Kentino.
No es la mejor opción para
- Optimizar el coste por TFLOPS: 4x RTX 4090 ofrecen 2 644 TOPS agregados por un ~40 % del coste de componentes (sin ECC ni garantía de centro de datos)
- Modelos densos de frontera de más de 200B: se topan con el techo del pool de 96 GB (se necesita un SKU de 192 GB o más)
- Generación de vídeo en bf16 de larga duración a plena resolución (el MoE de dos expertos de Wan 2.2 pide más VRAM)
- Entrenamiento desde cero: la L40 está certificada para inferencia; use RTX Pro 6000 / Blackwell de estación de trabajo para entrenar
Garantía y plazo de entrega
Garantía OEM de NVIDIA de 3 años para centro de datos en la L40 más la garantía de integración de Kentino (2 años en piezas, 1 año en mano de obra). El montaje incluye ensamblaje, configuración de la BIOS, instalación de controladores, pruebas de rodaje y verificación funcional.
Complementos recomendados
- Ampliación a 4x L40 (Kentino AI 192 Rome L40 1448TOPS) para un pool ECC de 192 GB y servicio de primer nivel
- Ampliación de RAM a 512 GB (añadir 4x 64 GB DDR4) para pilas mayores de embeddings y reranking
- Ampliación del NVMe a 4 TB para la biblioteca de modelos y la preparación de conjuntos de datos
- Fuente redundante opcional (dos de 2 kW sincronizadas) disponible bajo pedido
- PDU de rack y SAI en línea de 3 kVA para colocación en producción
Las preguntas que más nos hacen los compradores antes de pedir un servidor.
¿Cuánto tarda?
Las máquinas construidas con componentes que tenemos en stock se envían rápido; cualquier equipo que requiera una generación concreta de GPU depende del suministro. Le damos una fecha antes de que pague y, si se mueve, se lo decimos en lugar de dejar que lo descubra usted.
¿Se puede cambiar la configuración antes de que lo monten?
Casi siempre. Las GPU, la memoria, el almacenamiento y la refrigeración se eligen para cada pedido, y la configuración indicada es un punto de partida, no un paquete cerrado. Si necesita más VRAM, un almacenamiento más rápido o un enfoque de refrigeración distinto, indíquenoslo antes de realizar el pedido y le presupuestaremos el cambio.
¿Puedo recoger el servidor en persona?
Puede hacerlo. Nuestro almacén está en Praga y la recogida en persona es bienvenida: la mayoría de quienes vienen aprovechan la visita para repasar la máquina con nuestro ingeniero y hacer esas preguntas que resultan incómodas por correo. En los pedidos dentro de la República Checa también intentamos entregar en persona y explicarle la instalación in situ.
¿Puedo hablar con alguien que entienda de verdad la carga de trabajo?
Sí. Contamos con un ingeniero dedicado específicamente a los sistemas de IA, no con un mostrador comercial genérico. Si su pregunta trata sobre tamaños de lote, cuantización, interconexión o dónde estará su cuello de botella, háganosla: esa conversación suele mejorar la configuración.
¿Qué modelo puedo ejecutar en esta configuración?
Sí. Cada máquina se ensambla, se somete a pruebas de burn-in y se evalúa con cargas de trabajo de IA reales antes de enviarse, y sale de nuestras instalaciones con un LLM ya instalado y en funcionamiento. Usted solo tiene que conectarla, enlazarla a su red y ponerse a trabajar: la única decisión que queda es qué proyecto ejecutará primero.
¿Cómo se prueba un servidor antes del envío?
Lo probamos con cargas de trabajo de IA reales, no con puntuaciones sintéticas: rendimiento de inferencia, comportamiento bajo carga sostenida y temperaturas en funcionamiento continuo. Recibirá los resultados de las pruebas junto con la máquina, de modo que el rendimiento prometido sea el rendimiento que usted puede verificar desde el primer día.
¿Llega el servidor listo para funcionar?
Sí. Cada máquina se ensambla, se somete a pruebas de burn-in y se evalúa con cargas de trabajo de IA reales antes de enviarse, y sale de nuestras instalaciones con un LLM ya instalado y en funcionamiento. Usted solo tiene que conectarla, enlazarla a su red y ponerse a trabajar: la única decisión que queda es qué proyecto ejecutará primero.
Se envía desde nuestro almacén de la UE. Los artículos pesados pueden requerir transporte especial: contáctenos para obtener un presupuesto de envío y el plazo de entrega. Garantía limitada de 2 años con soporte RMA avanzado; garantía ampliada disponible.
¿No es exactamente lo que necesita?
Díganos cuál es su carga de trabajo y configuraremos esta plataforma a su medida: GPU, memoria, almacenamiento y refrigeración ajustados a lo que realmente ejecuta.