Kentino AI 288 Rome L40 — 6× NVIDIA L40 Passive Enterprise (288 GB ECC VRAM)
Plataforma de nível empresarial, montada e testada na UE.
Kentino AI 288 Rome L40 2172TOPS
Servidor empresarial com 288 GB de VRAM ECC
6x NVIDIA L40 Passive | EPYC Milan | 2 172 TOPS INT8
Referências externas publicadas. Não medidas em hardware Kentino.
Um servidor de inferência empresarial de 4U para rack, com seis placas de centro de dados NVIDIA L40 Ada Lovelace passivas (48 GB ECC cada) agregadas em 288 GB de VRAM ECC, um CPU AMD EPYC 7643 Milan (48C/96T), 384 GB DDR4-2666 ECC, 2 TB NVMe de arranque e duas fontes de alimentação ATX de 2.5 kW sincronizadas. ECC de ponta a ponta, concebido de raiz para produção empresarial 24/7, onde a integridade ao nível do bit e domínios de falha reparáveis são determinantes.
Hardware
| Componente | Detalhe |
|---|---|
| GPU | 6x NVIDIA L40 48 GB ECC (Ada Lovelace, passiva para centro de dados, 300 W, PCIe 4.0 x16, dois slots, 362 TOPS INT8/placa) |
| Pool de VRAM | 288 GB ECC agregados em 6 placas (sem NVLink na SKU PCIe da L40) |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x linhas PCIe 4.0) |
| Placa-mãe | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| RAM do sistema | 384 GB DDR4-2666 ECC RDIMM (6x 64 GB — 2 slots DIMM livres para expansão até 512 GB) |
| Arranque / armazenamento | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Fonte de alimentação | 2x ATX de 2.5 kW com cabo de sincronização de duas fontes (5 kW no total) |
| Chassis | Rack de 4U (disposição de 6 slots) |
| Arrefecimento | Cooler tipo torre SP3 (classe Arctic Freezer 4U-M) + fluxo de ar dirigido da frente para trás (ventoinhas industriais) |
| Rede | Duplo 10 GbE integrado (Intel X550) |
Envelope de potência
- Consumo das GPU: 6 x 300 W = 1 800 W
- Total do sistema em carga máxima: ~2 175 W
- Total das fontes: 5 000 W (duas de 2.5 kW sincronizadas) — 56.5% de margem
- Fonte dupla para distribuição repartida da energia — a falha de uma fonte = perda de 2 GPU ou de 2 GPU + placa-mãe
Topologia das linhas PCIe
A ROMED8-2T disponibiliza 7x PCIe 4.0 x16 diretamente do EPYC Milan. Seis slots ocupados com risers passivos Gen4 x16 — um slot livre para NIC / armazenamento. Não é necessário switch PCIe. A ligação nativa da L40 é PCIe 4.0 x16 — sem perda de largura de banda. Sem NVLink; o tráfego entre GPU corre em PCIe peer-to-peer.
O que pode executar
Com 288 GB de VRAM ECC agregada em 6 placas L40 passivas, este servidor dá conta dos LLM de pesos abertos de topo em Q4, de serviço simultâneo de vários modelos, de pipelines de vídeo/multimédia e de inferência empresarial em produção 24/7. Nota: a L40 é Ada Lovelace, não Blackwell — o fp8 é convertido para bf16. Utilize GGUF Q4/Q5 ou AWQ/GPTQ int4 para máxima eficiência de VRAM.
LLM — texto / raciocínio / programação
Topo de gama chinês
- Qwen3-235B-A22B Q4 (~132 GB) com contexto muito longo + orçamento KV generoso (~15-20 tok/s em sessão única, referência publicada)
- GLM-4.5 / 4.6 / 4.7 Q4 (~177 GB) confortável em TP de 6 vias (~12-18 tok/s em sessão única, referência publicada)
- Hunyuan-Large 389B/52B Q3 (~160 GB); ERNIE-4.5-424B-A47B Q3 (~180 GB)
- Qwen3-Coder-480B-A35B Q2 (~160 GB), agente de programação de topo
- MiniMax-M1 / Text-01 Q3 (~180 GB), Lightning Attention com contexto de 1M
- Qwen3-30B-A3B / QwQ-32B / Qwen3-32B — numa só placa, com 6 fluxos em paralelo
- DeepSeek-R2 MoE esparso de 32B — uma placa por fluxo, 6 sessões em simultâneo
Topo de gama ocidental
- Llama 3.3 70B bf16 (~142 GB) em serviço multi-inquilino (~17 tok/s em sessão única, referência publicada), ou Q4 (~43 GB) com 6 cópias em simultâneo
- Llama 4 Scout 109B/17B bf16 (~218 GB, no limite) ou Q4 (~63 GB), confortável
- Mistral Small 3 / Magistral / Devstral Small (24B) bf16 (~40-50 tok/s em sessão única, referência publicada)
- Pixtral Large / Mistral Large 2 Q6-Q8 (~90-140 GB)
- Llama-3.1-Nemotron Ultra 253B Q4 (~119 GB)
- gpt-oss-120b MXFP4 (~80 GB via GGUF em Ada — atenção à ressalva da conversão em Ada)
- Cohere Command R+ stack RAG 104B Q4
Modelos de visão e linguagem
Qwen3-VL-235B-A22B Q4; Qwen3-VL-32B; InternVL3.5-78B / 241B-A28B Q4 (~135 GB); Llama 3.2 90B Vision bf16 (~180 GB); Pixtral 12B; Molmo 72B; Gemma 3 12B/27B multimodal; GLM-4.6V completo (106B bf16); MiniCPM-o 2.6. O NVENC/NVDEC da L40 é particularmente útil em pipelines VLM de documentos / vídeo com elevado débito.
Geração de imagem
FLUX.1 [dev] / Kontext / Tools em vários workers em simultâneo (~3.5 s por imagem 1024x1024 numa única L40 em fp8, referência publicada) — é possível uma quinta de 6 workers ComfyUI; SD 3.5 Large; HunyuanImage-2.1 (17B) bf16; HunyuanDiT; Kolors 2.0; AuraFlow; OmniGen.
Geração de vídeo
Wan 2.2 T2V-A14B / I2V-A14B de duplo especialista em bf16 (~54 GB, ~20-30 s por clipe de 4s a 720p, referência publicada); HunyuanVideo 13B bf16 com ambos os especialistas; Open-Sora 2.0 bf16; CogVideoX-5B; Mochi-1; LTX-Video; Pyramid Flow; NVIDIA Cosmos Predict 2. O NVENC/NVDEC por hardware da L40 trata de legendagem / moderação / transcodificação em escala, em paralelo com a geração.
Áudio / Voz / TTS
- ASR: Whisper v3 large / turbo; Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2/3; Kokoro 82M; Stable Audio Open; XTTS v2; Step-Audio-EditX
- Tempo real / S2S: Kyutai Moshi; Step-Audio 2 mini / R1; Qwen2.5-Omni-7B
Serviço multimodelo / multi-inquilino
- Vários modelos residentes em simultâneo — Qwen3-235B Q4 + FLUX.1 + HunyuanVideo + Whisper-turbo + Moshi + embedder, todos em memória
- 6 cargas de trabalho da classe dos 48 GB em simultâneo (uma por placa): 6x Qwen3-VL-32B, ou 6x workers FLUX.1, ou 6x fluxos de ASR
- Paralelismo tensorial de 6 vias para MoE de 200B+ em Q4 com contexto a sério
- Pipelines RAG — Command R+ / Qwen3 + reranker + embedder + análise de imagem no mesmo host
Cargas de trabalho-alvo
- Backend de inferência LLM em produção 24/7 — mais de 100 utilizadores em simultâneo em MoE de 200B+ em Q4, protegido por ECC
- Pipeline de IA multimédia à escala empresarial — legendagem + moderação + miniaturas + transcodificação em 6 fluxos paralelos via NVENC/NVDEC
- SaaS multi-inquilino em que o isolamento por inquilino em placas físicas distintas é determinante
- Backend RAG com leitor Command R+ + reranker + embedder + visão totalmente residentes
- Par orientado à fiabilidade, em substituição do 12x L40 Legacy — dois servidores Kentino AI 288 = 576 GB agregados com domínios de falha independentes
Referências de desempenho publicadas
Referências externas | Não medidas em hardware Kentino
| Benchmark | Resultado |
|---|---|
| TOPS INT8 por placa L40 | 362 TOPS |
| Largura de banda de memória da L40 | 864 GB/s por placa |
| vLLM — Llama 3.3 70B AWQ INT4 em TP de 2x L40 (sessão única) | ~25-35 tok/s |
| vLLM — Llama 3.3 70B AWQ INT4 em TP de 2x L40 (lote de 16) | ~150-200 tok/s agregados |
| llama.cpp — GLM-4.6 Q4 em 6x L40 (sessão única) | ~12-18 tok/s |
| FLUX.1 [dev] numa única L40 em fp8 | ~3.5 s por imagem 1024x1024 |
A Kentino publicará números próprios após a primeira montagem para cliente.
Menos indicado para
- inferência nativa em fp8 à velocidade máxima — a Ada converte para bf16; utilize antes GGUF Q4/Q5 ou AWQ/GPTQ int4. Para fp8 nativo, veja o Kentino AI 384 Rome RTXPro6000 (Blackwell)
- Treino de modelos grandes de raiz (sem NVLink)
- Inferência económica para um só utilizador — 4x L4 ou 4x 5080 saem bastante mais baratos em cargas pequenas
- Modelos densos de topo com 600B+ em Q4+ (exigem um pool de 576 GB+ — veja 6x RTX Pro 6000)
Garantia e prazo de entrega
A montagem inclui assemblagem, configuração da BIOS, instalação de controladores, burn-in, memtest e verificação funcional. O prazo de entrega depende da disponibilidade dos componentes e é confirmado na encomenda.
Extras recomendados
- Expandir a RAM para 512 GB DDR4 (acrescentar 2x 64 GB — 2 slots DIMM livres) para um orçamento KV mais exigente
- NVMe Gen4 x4 de 4 TB para alojar a biblioteca de modelos
- Bastidor completo de 24U com PDU gerida + UPS online (essencial em cargas ECC 24/7)
- Uma segunda unidade Kentino AI 288 emparelhada — substitui o envelope do 12x L40 Legacy por dois domínios de falha independentes
As perguntas que os compradores mais nos fazem antes de encomendar um servidor.
Quanto tempo demora?
As máquinas construídas a partir de componentes que temos em stock são expedidas rapidamente; tudo o que exija uma geração específica de GPU depende da disponibilidade. Indicamos uma data antes do pagamento e, se essa data mudar, informamos o cliente em vez de o deixar descobrir por si.
A configuração pode ser alterada antes da montagem?
Quase sempre. As GPU, a memória, o armazenamento e o arrefecimento são escolhidos em cada encomenda e a configuração indicada é um ponto de partida, não um pacote fixo. Se precisar de mais VRAM, de armazenamento mais rápido ou de outra abordagem de arrefecimento, diga-nos antes de encomendar e orçamentamos a alteração.
Posso levantar o servidor pessoalmente?
Pode, sim. O nosso armazém fica em Praga e o levantamento em pessoa é bem-vindo — a maioria de quem nos visita aproveita para rever a máquina com o nosso engenheiro e fazer as perguntas que são difíceis de resolver por e-mail. Nas encomendas dentro da República Checa tentamos também entregar pessoalmente e explicar a instalação no local.
Posso falar com alguém que perceba mesmo da carga de trabalho?
Sim. Temos um engenheiro dedicado especificamente a sistemas de IA, e não um balcão de vendas genérico. Se a sua pergunta é sobre tamanhos de lote, quantização, interligação ou onde estará o seu estrangulamento, coloque-a — essa conversa costuma melhorar a configuração final.
Que modelo posso executar nesta configuração?
Sim. Todas as máquinas são montadas, submetidas a testes de burn-in e avaliadas com cargas de trabalho de IA reais antes do envio, e saem das nossas instalações com um LLM já instalado e a funcionar. Basta ligá-la à corrente, ligá-la à sua rede e começar a trabalhar — a única decisão que resta é qual o primeiro projeto que irá correr.
Como testam um servidor antes da expedição?
Testamo-lo com cargas de trabalho de IA reais, e não com pontuações sintéticas: débito de inferência, comportamento sob carga sustentada e desempenho térmico em funcionamento contínuo. Os resultados dos benchmarks seguem com a máquina, por isso o desempenho prometido é o desempenho que pode verificar logo no primeiro dia.
O servidor chega pronto a funcionar?
Sim. Todas as máquinas são montadas, submetidas a testes de burn-in e avaliadas com cargas de trabalho de IA reais antes do envio, e saem das nossas instalações com um LLM já instalado e a funcionar. Basta ligá-la à corrente, ligá-la à sua rede e começar a trabalhar — a única decisão que resta é qual o primeiro projeto que irá correr.
Expedido a partir do nosso armazém na UE. Os artigos pesados podem exigir transporte de carga — contacte-nos para obter um orçamento de envio e o prazo de entrega. Garantia limitada de 2 anos com apoio RMA avançado; garantia alargada disponível.
Não é exatamente o que procura?
Diga-nos qual é a sua carga de trabalho e configuramos esta plataforma à sua medida — GPU, memória, armazenamento e arrefecimento ajustados ao que realmente executa.