Kentino AI 96 Rome L40 724TOPS — Servidor de inferência de produção com 2x NVIDIA L40 ECC
Plataforma de nível empresarial, montada e testada na UE.
Kentino AI 96 Rome L40 724TOPS
Servidor de produção com 2x L40 ECC
96 GB de VRAM ECC | EPYC Milan | 724 TOPS INT8
Máquina empresarial de entrada com ECC para funcionamento 24/7 — 2x L40 passivas, pool de 96 GB de VRAM ECC, alternativa de nível centro de dados à gama 4090 para implementações reguladas.
Um servidor de inferência de classe produção com duas GPUs, construído sobre ROMED8-2T / EPYC Milan com duas placas NVIDIA L40 passivas. Pool de 96 GB de GDDR6 ECC, com a mesma envolvente de VRAM da máquina de trabalho com 4x RTX 4090, mas com certificação completa para centro de dados, memória ECC em todas as placas e um desenho térmico preparado para ciclo de serviço 24/7. A escolha acertada quando as RTX 4090 levantariam dúvidas de garantia, fiabilidade ou conformidade — finanças, saúde, verificação formal e qualquer serviço de LLM / VLM em produção contínua.
Hardware
| Componente | Detalhe |
|---|---|
| GPUs | 2x NVIDIA L40 48 GB GDDR6 ECC (Ada Lovelace, passiva, 300 W, dual-slot, PCIe 4.0 x16) |
| Pool de VRAM | 96 GB ECC (sem NVLink) |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128 linhas PCIe 4.0) |
| Placa-mãe | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| RAM do sistema | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Arranque / armazenamento | 1 TB NVMe M.2 (PCIe 4.0 x4) |
| Fonte de alimentação | Uma fonte de alimentação ATX de 2 kW |
| Chassis | Montagem em rack 4U, risers passivos Gen4 x16 |
| Arrefecimento | Cooler tower SP3 (Arctic Freezer 4U-M), 3x 120 mm de admissão frontal + 1x 120 mm de extração traseira |
| Rede | Duplo 10 GbE integrado (Intel X550) + IPMI |
Envolvente de potência
- Consumo das GPUs: 2 x 300 W = 600 W
- Total do sistema em carga máxima: ~925 W
- Total da fonte: 2 000 W — 53.8 % de folga
- Margem confortável com uma só fonte, funcionamento silencioso
Topologia de linhas
PCIe Gen4 x16 nas duas GPUs (a L40 é nativamente Gen4 x16). 16 linhas diretas do root complex do CPU — sem switch PCIe. A L40 não tem NVLink — a comunicação entre GPUs faz-se por PCIe P2P. 864 GB/s de largura de banda de memória por placa.
O que pode executar
Com 96 GB de VRAM ECC distribuídos por 2 placas L40 passivas, este servidor dá conta de serving empresarial de LLM 24/7, implementações reguladas, geração de imagem e vídeo e inferência multi-inquilino em que a fiabilidade do ECC e a garantia de centro de dados contam.
LLM — texto / raciocínio / programação
Fronteira chinesa
- Qwen3-32B bf16 numa só GPU L40 com folga para 32k de contexto (~18-22 tok/s em fluxo único na L40, referência publicada)
- Qwen3.5-27B bf16; Qwen3-30B-A3B / Qwen3-Coder-30B-A3B bf16 (~60 GB) com 256k de contexto
- Qwen3.5-122B-A10B Q4 (~70 GB) — MoE de topo, contexto longo
- QwQ-32B bf16; Hunyuan-A13B Q6 (~48 GB)
- DeepSeek-R2 32B MoE esparso bf16 — viável numa só GPU, dois fluxos em paralelo
- GLM-4.5-Air 106B/12B Q4-Q5 (60-70 GB, confortável)
- Seed-OSS-36B bf16 — 512k de contexto nativo; ERNIE-4.5-47B-A3B Q6-Q8
- Baichuan-M2-32B bf16 (raciocínio médico — aqui o ECC é uma vantagem)
Fronteira ocidental
- Llama 3.3 70B Q6 (~58 GB) com folga de KV; Q4_K_M (~43 GB) com contexto muito longo (~15-18 tok/s em fluxo único em 2x L40, referência publicada)
- Hermes 3 70B / Tulu 3 70B Q4-Q6; Llama 4 Scout 109B/17B MoE Q4 (~63 GB)
- Mistral Small 3 / Magistral Small 1.2 / Devstral Small 2 (24B) bf16; Mixtral 8x22B Q3-Q4
- gpt-oss-120b MXFP4 (~80 GB) com espaço para KV
- Gemma 3 27B multimodal bf16 com 128k de contexto
- Phi-4 14B / Phi-4-reasoning / Phi-4-multimodal bf16
- Nemotron-Super 49B Q6-Q8; IBM Granite 4.0 H-Small 32B/9B — conformidade empresarial
- Reka Flash 3 21B bf16; OLMo 2 32B / OLMo 3.1-32B-Think bf16
Modelos de visão e linguagem
Qwen3-VL-8B / 32B, Qwen3-VL-30B-A3B MoE, Qwen3-Omni-30B-A3B; InternVL3 até 78B Q4 (~48 GB); InternVL3.5-38B bf16; DeepSeek-VL2; ERNIE-4.5-VL-28B-A3B-Thinking; Llama 3.2 11B Vision bf16; Pixtral 12B bf16; Gemma 3 12B / 27B multimodal; PaliGemma 2 (3/10/28B); MiniCPM-V 2.6 / MiniCPM-o 2.6; GLM-4.6V-Flash; Molmo 72B Q4; Aya Vision 32B.
Geração de imagem
A L40 tem tensor cores Ada e 864 GB/s de largura de banda de memória por placa — sólida para pipelines de imagem em produção: FLUX.1 [dev] / [schnell] fp16 (~24 GB) ou fp8 (~12 GB) (~15-25 segundos por imagem de 1024x1024 em fp8, referência publicada); FLUX.1 Kontext [dev]; FLUX Tools (Fill / Depth / Canny / Redux); SD 3.5 Large (18 GB fp16 / 11 GB fp8); SDXL 1.0 + ControlNet + AnimateDiff; HunyuanImage-2.1 bf16 (~34 GB); Kolors 2.0; AuraFlow v0.3; OmniGen v1; PixArt-Sigma.
Geração de vídeo
O HunyuanVideo 13B bf16 cabe numa só L40 para clipes curtos a 720p; Wan 2.2 T2V-A14B / I2V-A14B bf16 (~54 GB) com paralelismo de tensores a 2; Wan 2.2 TI2V-5B bf16 por placa; Wan 2.1 14B fp8 / bf16; HunyuanVideo 1.5 (8.3B) bf16; Open-Sora 2.0 (11B) bf16; CogVideoX-5B / 1.5 bf16; Mochi-1 bf16 (~42 GB); LTX-Video 2B; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.
Áudio / Voz / TTS
- ASR: Whisper v3 large / turbo (~50x o tempo real numa só GPU, referência publicada); Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2 / Fun-CosyVoice 3.0; Kokoro 82M; Stable Audio Open; Coqui XTTS v2; StyleTTS 2; Step-Audio-EditX
- Tempo real / S2S: Kyutai Moshi (200 ms de latência full-duplex); Step-Audio 2 mini / R1 / R1.1; Qwen2.5-Omni-7B
- Música / efeitos sonoros / tradução: MusicGen; AudioGen; Suno Bark; SeamlessM4T v2; MMS
Serving multimodelo / multi-inquilino
- 4-8 utilizadores em simultâneo em LLM da classe 32-70B, via vLLM com paralelismo de tensores ou partição por placa
- Stack mista: Qwen3-32B + FLUX.1 + Whisper-turbo + Moshi residentes com VRAM particionada
- Inferência com LoRA + afinação ligeira de 7-14B; parâmetros completos possíveis em modelos mais pequenos
- Pipelines de RAG com Command R / Qwen3 + embeddings BGE-M3 / E5 / Jina
Cargas de trabalho alvo
- Serving empresarial de LLM 24/7 — 70B Q4-Q6, Qwen3-32B bf16, Mistral Small 3 bf16
- Implementações reguladas que exigem memória ECC (finanças, saúde, verificação formal)
- Serving de contexto longo — o Seed-OSS-36B com 512k de contexto cabe folgadamente na pool de 96 GB
- Serving de MoE de gama média — Hunyuan-A13B Q6, GLM-4.5-Air Q4, Qwen3-30B-A3B bf16
- Processamento documental com VLM — InternVL3.5-38B, Pixtral 12B bf16, Qwen3-VL-32B
Referências de desempenho publicadas
Referência publicada | hardware comparável com 2x NVIDIA L40
| Benchmark | Resultado |
|---|---|
| Llama 3.3 70B Q4_K_M repartido por 2x L40 (tensor-split) | ~15-18 tok/s em fluxo único |
| Qwen3-32B bf16 numa só GPU L40 | ~18-22 tok/s em fluxo único |
| vLLM com Hunyuan-A13B Q6 na pool de 2x L40 | ~28-34 tok/s em fluxo único |
| HunyuanVideo 13B bf16 numa só L40 | clipe curto a 720p — cabe em 48 GB |
| Métricas por placa | 362 TOPS INT8, 864 GB/s, 300 W de TDP |
Valores publicados, não medidos em hardware Kentino.
Menos indicado para
- Otimização do custo por TFLOPS — 4x RTX 4090 dão 2 644 TOPS agregados a ~40 % do custo dos componentes (sem ECC nem garantia de centro de dados)
- Modelos densos de fronteira com mais de 200B — aplica-se o teto da pool de 96 GB (é preciso uma SKU de 192+ GB)
- Geração de vídeo em bf16, formato longo e resolução máxima (o MoE de dois peritos do Wan 2.2 pede mais VRAM)
- Treino de raiz — a L40 é certificada para inferência; para treino use RTX Pro 6000 / Blackwell de estação de trabalho
Garantia e prazo de entrega
Garantia OEM NVIDIA de 3 anos para centro de dados na L40 + garantia de integração Kentino (2 anos em peças, 1 ano em mão de obra). A montagem inclui assemblagem, configuração da BIOS, instalação de drivers, testes de burn-in e verificação funcional.
Extras recomendados
- Passar para 4x L40 (Kentino AI 192 Rome L40 1448TOPS) e obter uma pool ECC de 192 GB com serving de topo de gama
- Subir a RAM para 512 GB (acrescentar 4x 64 GB DDR4) para stacks maiores de embeddings / reranker
- Subir o NVMe para 4 TB para biblioteca de modelos + preparação de conjuntos de dados
- Fonte de alimentação redundante (duas de 2 kW sincronizadas) disponível a pedido
- PDU de rack + UPS online de 3 kVA para colocation em produção
As perguntas que os compradores mais nos fazem antes de encomendar um servidor.
Quanto tempo demora?
As máquinas construídas a partir de componentes que temos em stock são expedidas rapidamente; tudo o que exija uma geração específica de GPU depende da disponibilidade. Indicamos uma data antes do pagamento e, se essa data mudar, informamos o cliente em vez de o deixar descobrir por si.
A configuração pode ser alterada antes da montagem?
Quase sempre. As GPU, a memória, o armazenamento e o arrefecimento são escolhidos em cada encomenda e a configuração indicada é um ponto de partida, não um pacote fixo. Se precisar de mais VRAM, de armazenamento mais rápido ou de outra abordagem de arrefecimento, diga-nos antes de encomendar e orçamentamos a alteração.
Posso levantar o servidor pessoalmente?
Pode, sim. O nosso armazém fica em Praga e o levantamento em pessoa é bem-vindo — a maioria de quem nos visita aproveita para rever a máquina com o nosso engenheiro e fazer as perguntas que são difíceis de resolver por e-mail. Nas encomendas dentro da República Checa tentamos também entregar pessoalmente e explicar a instalação no local.
Posso falar com alguém que perceba mesmo da carga de trabalho?
Sim. Temos um engenheiro dedicado especificamente a sistemas de IA, e não um balcão de vendas genérico. Se a sua pergunta é sobre tamanhos de lote, quantização, interligação ou onde estará o seu estrangulamento, coloque-a — essa conversa costuma melhorar a configuração final.
Que modelo posso executar nesta configuração?
Sim. Todas as máquinas são montadas, submetidas a testes de burn-in e avaliadas com cargas de trabalho de IA reais antes do envio, e saem das nossas instalações com um LLM já instalado e a funcionar. Basta ligá-la à corrente, ligá-la à sua rede e começar a trabalhar — a única decisão que resta é qual o primeiro projeto que irá correr.
Como testam um servidor antes da expedição?
Testamo-lo com cargas de trabalho de IA reais, e não com pontuações sintéticas: débito de inferência, comportamento sob carga sustentada e desempenho térmico em funcionamento contínuo. Os resultados dos benchmarks seguem com a máquina, por isso o desempenho prometido é o desempenho que pode verificar logo no primeiro dia.
O servidor chega pronto a funcionar?
Sim. Todas as máquinas são montadas, submetidas a testes de burn-in e avaliadas com cargas de trabalho de IA reais antes do envio, e saem das nossas instalações com um LLM já instalado e a funcionar. Basta ligá-la à corrente, ligá-la à sua rede e começar a trabalhar — a única decisão que resta é qual o primeiro projeto que irá correr.
Expedido a partir do nosso armazém na UE. Os artigos pesados podem exigir transporte de carga — contacte-nos para obter um orçamento de envio e o prazo de entrega. Garantia limitada de 2 anos com apoio RMA avançado; garantia alargada disponível.
Não é exatamente o que procura?
Diga-nos qual é a sua carga de trabalho e configuramos esta plataforma à sua medida — GPU, memória, armazenamento e arrefecimento ajustados ao que realmente executa.