Kentino AI 192 Rome L40 1448TOPS — 4× NVIDIA L40 — EPYC Milan
Plataforma de nível empresarial, montada e testada na UE.
Kentino AI 192 Rome L40 1448TOPS
Servidor de inferência empresarial com 192 GB ECC
4x NVIDIA L40 Passive | EPYC Milan | 1 448 TOPS INT8
Quatro placas de centro de dados L40 passivas com memória ECC. O mesmo conjunto de 192 GB que 8x RTX 4090 — mas de nível de centro de dados, protegido por ECC e com garantia OEM.
Um servidor de inferência de montagem em rack 4U com quatro placas NVIDIA L40 passivas agregadas em 192 GB de VRAM ECC, um CPU AMD EPYC 7643 Milan (48C/96T), 256 GB DDR4 ECC, 2 TB NVMe de arranque e duas fontes de alimentação ATX de 2 kW sincronizadas. A L40 é a irmã de centro de dados da RTX 4090 — arrefecida passivamente, equipada com ECC, com codificadores de hardware NVENC/NVDEC integrados e garantia OEM NVIDIA de 3 anos. Executa vLLM, SGLang, llama.cpp, Triton e TensorRT-LLM logo à partida.
Hardware
| Componente | Detalhe |
|---|---|
| GPUs | 4x NVIDIA L40 48 GB ECC GDDR6 (Ada Lovelace, passiva, 300 W, dois slots, PCIe 4.0 x16) |
| Conjunto de VRAM | 192 GB ECC distribuídos por 4 placas (a L40 não tem NVLink) |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x linhas PCIe 4.0) |
| Placa-mãe | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| RAM do sistema | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Arranque / armazenamento | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Fonte de alimentação | Duas fontes ATX de 2 kW com cabo de sincronização |
| Chassis | Montagem em rack 4U com fluxo de ar dirigido da frente para trás |
| Arrefecimento | Torre Arctic Freezer 4U-M SP3 + 3x admissão frontal de 120 mm + 1x extração traseira de 120 mm |
| Rede | Duplo 10 GbE integrado (Intel X550) |
Envelope energético
- Consumo das GPU: 4 x 300 W = 1 200 W
- Total do sistema em plena carga: ~1 525 W
- Total das fontes: 4 000 W (duas de 2 kW sincronizadas) — 61.9 % de margem
- Fonte dupla para distribuição repartida de energia e capacidade N+1
Topologia das linhas PCIe
PCIe Gen4 x16 por placa (a L40 é nativamente Gen4). Ligação direta ao root complex a partir de um único EPYC — sem comutador PCIe. Sem NVLink — o tráfego entre GPU corre em PCIe peer-to-peer. Ficam livres três slots x16 para expansão de rede ou armazenamento.
O que pode executar
Com 192 GB de VRAM ECC distribuídos por 4 placas de centro de dados, este servidor dá conta de MoE de fronteira com 200B+ em Q4, de serviço empresarial multi-inquilino com SLA exigente e de inferência em produção 24/7 sem deriva por inversão de bits graças ao ECC.
LLM — texto / raciocínio / programação
Fronteira chinesa
- Qwen3 / Qwen3.5 (Alibaba): Qwen3-235B-A22B Q4 (~132 GB) com contexto longo — a configuração estrela (~12-18 tok/s em fluxo único nas 4x L40); Qwen3-Coder-480B-A35B Q2 (~160 GB, à justa); Qwen3.5-122B-A10B fp8 (~75 GB) com KV enorme; Qwen3-32B denso bf16 com vários fluxos em simultâneo
- DeepSeek: DeepSeek-V3/R1/V3.1/V3.2 Q2 (~215 GB com ligeiro recurso à RAM); DeepSeek-R2 32B — 4x fluxos em simultâneo, um por placa
- GLM / Z.ai: GLM-4.5 / 4.6 / 4.7 Q4 (~177 GB) — o ponto ideal deste escalão; GLM-4.5-Air 106B/12B fp8 ou bf16
- Tencent Hunyuan: Hunyuan-Large Q3 (~160 GB) — MoE de 389B com 256k de contexto; Hunyuan-A13B fp8 (~80 GB) com KV enorme
- Baidu ERNIE-4.5-424B Q3 (~180 GB); InternVL3.5-241B-A28B Q4 (~135 GB); Qwen3.5-397B Q3 (~170 GB)
Fronteira ocidental
- Meta Llama: Llama 3.3 70B bf16 com KV massivo (~15-18 tok/s em fluxo único nas 4x L40); Llama 4 Scout bf16 (~218 GB) à justa; Llama 4 Maverick 400B/17B Q3 (~188 GB)
- Mistral: Mistral Large 2 / Pixtral Large / Devstral 2 123B Q6 (~102 GB) com folga; Mistral Small 3 em multifluxo
- OpenAI (pesos abertos): gpt-oss-120b MXFP4 (80 GB) com KV generoso
- NVIDIA Nemotron: Llama-3.1-Nemotron Ultra 253B Q4 (~147 GB); Super 49B bf16 com vários fluxos
- Google Gemma 3: 27B multimodal bf16 — vários fluxos residentes
- Outros: Cohere Command R+ 104B Q6 (~85 GB); OLMo 3.1 32B; Reka Flash 3 21B; IBM Granite 4.0 H-Small
Modelos de visão e linguagem
InternVL3.5-241B-A28B Q4 (~135 GB); Qwen3-VL-235B-A22B Q4; Qwen3-VL-32B bf16; Llama 3.2 90B Vision bf16 (~180 GB); Pixtral Large 124B Q6-bf16; Molmo 72B bf16; GLM-4.6V 106B fp8; Gemma 3 27B multimodal com vários fluxos; InternVL3 78B bf16; DeepSeek-VL2 em toda a gama.
Geração de imagem
FLUX.1 [dev] / [schnell] bf16 com geração em simultâneo (~3-4 s por imagem 1024x1024 numa L40); FLUX.1 Kontext [dev]; FLUX Tools; SD 3.5 Large bf16 x 2-3 em simultâneo; HunyuanImage-2.1 bf16 (~34 GB) em multifluxo; HunyuanImage-3.0 base (MoE de 80B, 13B ativos) bf16 (~80 GB); HunyuanDiT; Kolors / Kolors 2.0; AuraFlow; OmniGen v1; PixArt-Sigma.
Geração de vídeo
Wan 2.2 T2V-A14B / I2V-A14B MoE bf16 com dois especialistas em contexto completo; Wan 2.2 TI2V-5B em modo rápido; HunyuanVideo 13B bf16 com ambos os especialistas; HunyuanVideo 1.5; CogVideoX-5B bf16; Open-Sora 2.0 11B bf16; Mochi-1 bf16 (~42 GB) em multifluxo; LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.
Áudio / voz / TTS
- ASR: Whisper v3 large / turbo (~50x tempo real); Parakeet-TDT; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2/3; Kokoro 82M; XTTS v2; Stable Audio Open; Step-Audio-EditX
- Tempo real / S2S: Kyutai Moshi 7B; Step-Audio 2 mini/R1; Qwen2.5-Omni-7B
- Música / efeitos sonoros: MusicGen / AudioGen / Bark; SeamlessM4T v2
Serviço multimodelo / multi-inquilino
- Gateway de LLM em produção empresarial — Qwen3-235B Q4 ou GLM-4.5/4.6 Q4 a servir 16-32 utilizadores em simultâneo com SLA exigente
- Pilha residente mista: MoE de 235B + FLUX.1 + Whisper-turbo + Moshi com VRAM particionada e proteção ECC
- Pipeline de vídeo em direto + IA — os codificadores de hardware NVENC/NVDEC alimentam 6-8 pipelines paralelos de legendagem e moderação
- RAG multi-inquilino — embedder do lado da consulta + leitor de 70B + reranker com latência P99 abaixo do segundo
Cargas de trabalho alvo
- Inferência de LLM em produção 24/7 com um conjunto de 192 GB (Qwen3-235B Q4, GLM-4.5/4.6/4.7 Q4, Llama 4 Scout bf16)
- Serviço empresarial multi-inquilino com SLA exigente — fiabilidade ECC em funcionamento prolongado
- Serviço de RAG + base de dados vetorial com modelos de recuperação de alta qualidade em simultâneo
- Pipelines de IA para media / vídeo — caminho de hardware NVENC / NVDEC, renderização de VFX, transcrição e tradução
- Instalações em centro de dados com funcionamento silencioso — placas passivas, perfil acústico baixo junto a zonas de escritório
Desempenho medido
Referências publicadas | folha de dados da NVIDIA L40 + benchmarks da comunidade
| Benchmark | Resultado |
|---|---|
| TOPS INT8 por placa (folha de dados NVIDIA) | 362 TOPS |
| TOPS INT8 agregados (4 placas) | 1 448 TOPS |
| VRAM por placa | 48 GB ECC GDDR6, largura de banda de 864 GB/s |
| Llama 3.3 70B Q6 via vLLM (comunidade) | 30-50 tok/s em fluxo único, 150+ tok/s em lote de 16 |
| FLUX.1 [dev] bf16 numa L40 (comunidade) | ~3-4 s por imagem 1024x1024 |
| NVENC / NVDEC | Codificadores de hardware de 8.ª geração integrados (pipeline de vídeo com IA) |
Referências externas publicadas, não medidas em hardware Kentino. A Kentino publicará números próprios após a primeira configuração para cliente.
Menos indicado para
- Treinar modelos grandes de raiz (sem NVLink, computação tensorial FP8 limitada)
- Inferência económica para um só utilizador (4x L4 ou 2x L40 fica materialmente mais barato)
- Um único modelo denso de 70B em bf16 com contexto muito longo — prefira 2x RTX Pro 6000 Server Edition (o mesmo conjunto de 192 GB, menos sobrecarga de paralelismo tensorial)
Garantia e prazo de entrega
Garantia OEM NVIDIA de 3 anos na L40 + garantia de integração Kentino. A montagem inclui assemblagem, configuração da BIOS, instalação de controladores, testes de burn-in e verificação funcional. O prazo de entrega depende da disponibilidade de componentes e é confirmado na encomenda.
Extras recomendados
- Aumentar a RAM para 512 GB (acrescentar 4x 64 GB DDR4 — quatro slots DIMM continuam livres)
- NVMe de 4 TB para preparação da biblioteca de modelos
- Armário rack 24U completo com PDU gerida + UPS online de 5 kVA
As perguntas que os compradores mais nos fazem antes de encomendar um servidor.
Quanto tempo demora?
As máquinas construídas a partir de componentes que temos em stock são expedidas rapidamente; tudo o que exija uma geração específica de GPU depende da disponibilidade. Indicamos uma data antes do pagamento e, se essa data mudar, informamos o cliente em vez de o deixar descobrir por si.
A configuração pode ser alterada antes da montagem?
Quase sempre. As GPU, a memória, o armazenamento e o arrefecimento são escolhidos em cada encomenda e a configuração indicada é um ponto de partida, não um pacote fixo. Se precisar de mais VRAM, de armazenamento mais rápido ou de outra abordagem de arrefecimento, diga-nos antes de encomendar e orçamentamos a alteração.
Posso levantar o servidor pessoalmente?
Pode, sim. O nosso armazém fica em Praga e o levantamento em pessoa é bem-vindo — a maioria de quem nos visita aproveita para rever a máquina com o nosso engenheiro e fazer as perguntas que são difíceis de resolver por e-mail. Nas encomendas dentro da República Checa tentamos também entregar pessoalmente e explicar a instalação no local.
Posso falar com alguém que perceba mesmo da carga de trabalho?
Sim. Temos um engenheiro dedicado especificamente a sistemas de IA, e não um balcão de vendas genérico. Se a sua pergunta é sobre tamanhos de lote, quantização, interligação ou onde estará o seu estrangulamento, coloque-a — essa conversa costuma melhorar a configuração final.
Que modelo posso executar nesta configuração?
Sim. Todas as máquinas são montadas, submetidas a testes de burn-in e avaliadas com cargas de trabalho de IA reais antes do envio, e saem das nossas instalações com um LLM já instalado e a funcionar. Basta ligá-la à corrente, ligá-la à sua rede e começar a trabalhar — a única decisão que resta é qual o primeiro projeto que irá correr.
Como testam um servidor antes da expedição?
Testamo-lo com cargas de trabalho de IA reais, e não com pontuações sintéticas: débito de inferência, comportamento sob carga sustentada e desempenho térmico em funcionamento contínuo. Os resultados dos benchmarks seguem com a máquina, por isso o desempenho prometido é o desempenho que pode verificar logo no primeiro dia.
O servidor chega pronto a funcionar?
Sim. Todas as máquinas são montadas, submetidas a testes de burn-in e avaliadas com cargas de trabalho de IA reais antes do envio, e saem das nossas instalações com um LLM já instalado e a funcionar. Basta ligá-la à corrente, ligá-la à sua rede e começar a trabalhar — a única decisão que resta é qual o primeiro projeto que irá correr.
Expedido a partir do nosso armazém na UE. Os artigos pesados podem exigir transporte de carga — contacte-nos para obter um orçamento de envio e o prazo de entrega. Garantia limitada de 2 anos com apoio RMA avançado; garantia alargada disponível.
Não é exatamente o que procura?
Diga-nos qual é a sua carga de trabalho e configuramos esta plataforma à sua medida — GPU, memória, armazenamento e arrefecimento ajustados ao que realmente executa.