Kentino AI 144 Rome L4 1452TOPS — 6× NVIDIA L4 — EPYC Milan
Plataforma de nível empresarial, montada e testada na UE.
Kentino AI 144 Rome L4 1452TOPS
Servidor de Inferência Silent Edge com 144 GB de VRAM
6x NVIDIA L4 passivas | EPYC Milan | 1 452 TOPS INT8
Seis placas L4 passivas de centro de dados. O servidor de IA mais silencioso da gama Kentino — aceitável para instalação em ambiente de escritório.
Servidor de inferência 4U de socket único com seis placas NVIDIA L4 passivas (24 GB cada, pool de 144 GB), um CPU AMD EPYC 7643 Milan (48C/96T), 384 GB DDR4 ECC, disco de arranque NVMe de 2 TB e uma única fonte de alimentação ATX de 2 kW com 62 % de folga. Cavalo de batalha para inferência densa no edge: frotas de embeddings, serviço multi-inquilino de LLM de pequena e média dimensão e implementações otimizadas em watts por consulta junto a espaços de escritório.
Hardware
| Componente | Detalhe |
|---|---|
| GPUs | 6x NVIDIA L4 24 GB (Ada Lovelace, passiva, 72 W, single-slot LP, PCIe Gen4 x8) |
| Pool de VRAM | 144 GB agregados nas 6 placas |
| CPU | AMD EPYC 7643 Milan (48C/96T, 225 W, 128 lanes PCIe 4.0) |
| Placa-mãe | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| RAM do sistema | 384 GB DDR4-2666 ECC RDIMM (6x 64 GB) |
| Arranque / armazenamento | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Fonte de alimentação | 1x fonte de alimentação ATX de 2 kW |
| Chassis | Montagem em rack 4U (layout de 6 placas) |
| Arrefecimento | Cooler tower SP3 + fluxo de ar dirigido da frente para trás (ventoinhas industriais) |
| Rede | Duplo 10 GbE integrado (Intel X550) |
Envelope de potência
- Consumo das GPU: 6 x 72 W = 432 W
- Total do sistema em carga máxima: ~757 W
- Total da fonte: 2 000 W — 62 % de folga
- Funcionamento silencioso, enorme margem térmica
Topologia de lanes
A L4 é nativamente PCIe Gen4 x8 — sem perda de largura de banda face ao host. A ROMED8-2T disponibiliza 7x slots x16; fica uma slot livre para upsell de NIC. Não é necessário switch PCIe. Sem NVLink.
O que pode executar
Com 144 GB agregados em 6 placas físicas, o ponto ideal é o serviço simultâneo de vários modelos: executar um modelo denso de 70B em Q4, um MoE de 30B, um coder de 14B, um VLM e um modelo de embeddings ao mesmo tempo, e ainda sobrar margem para KV.
LLMs — texto / raciocínio / programação
Fronteira chinesa
- Qwen3 / Qwen3.5 (Alibaba): Qwen3-30B-A3B Q4-Q6; QwQ-32B Q6; Qwen3-32B dense Q6; Qwen3.5-122B-A10B Q4-Q5 (~75 GB confortável); Qwen3-235B-A22B Q3 (~112 GB) à justa, contexto curto
- DeepSeek: DeepSeek-R2 32B MoE esparso Q4-Q6 (funciona numa só placa, 6x fluxos em simultâneo, ~15-20 tok/s por fluxo); Seed-OSS-36B Q4-Q6 com 512k de contexto nativo
- GLM / Z.ai: GLM-4.5-Air Q4-Q5 (60-70 GB confortável); Hunyuan-A13B Q4-Q6 (~48 GB)
- Baidu ERNIE-4.5-47B-A3B Q4; Step-3.5-Flash Q3-Q4 com algum transbordo para a RAM
Fronteira ocidental
- Meta Llama: Llama 3.3 70B Q4-Q6 (43-58 GB) com KV generoso (~10-17 tok/s em fluxo único em 6x L4 com tensor-parallel); Llama 4 Scout 109B/17B MoE Q4 (~63 GB) confortável
- Mistral: Mistral Small 3 / Magistral Small 1.2 / Devstral Small 2 (24B) em bf16 (~50-65 tok/s por placa L4); Mixtral 8x22B Q4
- OpenAI (pesos abertos): gpt-oss-120b MXFP4 nativo (~80 GB) com folga de sobra; gpt-oss-20b MXFP4
- Google Gemma 3: 27B bf16; Phi-4 14B bf16
- NVIDIA Nemotron: Llama-3.1-Nemotron Super 49B Q4-Q6; Pixtral 12B / Pixtral Large Q4 (~72 GB)
Modelos de visão-linguagem
Qwen3-VL-8B/32B, Qwen3-VL-30B-A3B MoE, InternVL3 até 78B Q4 (~48 GB), InternVL3.5-38B, DeepSeek-VL2, Llama 3.2 11B Vision bf16, Llama 3.2 90B Vision Q4 (~52 GB), Molmo 72B Q4, Gemma 3 12B/27B multimodal, MiniCPM-V 2.6 / MiniCPM-o 2.6, GLM-4.6V-Flash.
Geração de imagem
FLUX.1 [dev] / [schnell] fp8 (~20-35 s/imagem numa única L4 em fp8); FLUX.1 Kontext [dev]; FLUX Tools; SD 3.5 Large (18 GB fp16 / 11 GB fp8); SDXL 1.0; HunyuanImage-2.1 (~34 GB bf16); HunyuanDiT; Kolors 2.0; AuraFlow v0.3; OmniGen v1; PixArt-Sigma.
Geração de vídeo
Wan 2.2 T2V-A14B / I2V-A14B MoE (à justa em bf16 ~54 GB); Wan 2.2 TI2V-5B em via rápida; HunyuanVideo 13B Q4-Q8 (~30 GB); HunyuanVideo 1.5 (8.3B); CogVideoX-5B; Open-Sora 2.0 Q8 (~16 GB); Mochi-1 Q4 (~18 GB); LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos.
Áudio / Voz / TTS
- ASR: Whisper v3 large / turbo (~50x tempo real); Parakeet-TDT; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2 / 3; Kokoro 82M; Stable Audio Open; XTTS v2; StyleTTS 2; Step-Audio-EditX
- Tempo real / S2S: Kyutai Moshi 7B; Step-Audio 2 mini/R1; Qwen2.5-Omni-7B
- Música / SFX: MusicGen / AudioGen / Bark; SeamlessM4T v2
Serviço multimodelo / multi-inquilino
- 6 fluxos em simultâneo de um modelo Q4 de 24 GB (um por placa): p. ex. 6x agentes Qwen3-14B Q4
- Frota mista: Llama 3.3 70B Q4 (tensor-parallel em 2 placas) + FLUX.1 (1 placa) + Whisper-turbo (1 placa) + Moshi (1 placa) + embedder BGE-M3 (1 placa)
- Serviço de embeddings com QPS elevado — 6x fluxos de embedding em paralelo de BGE-M3 / E5 / Nomic / Cohere Embed
- Quinta de transcodificação de vídeo — 6x fluxos NVENC/NVDEC em paralelo
Cargas de trabalho alvo
- API de LLM SaaS multi-inquilino — servir 20-40 utilizadores em simultâneo num modelo de 24B/32B, com margem para imagem e ASR em paralelo
- Backend de RAG — embedder do lado da consulta + leitor 70B Q4 + reranker, latência inferior a um segundo, 50 QPS
- Pipeline de vídeo com IA — transcodificação em direto + legendagem + moderação em 6 fluxos paralelos
- Appliance de IA no edge junto ao escritório — perfil acústico reduzido, dependência zero de centro de dados
- Bancada de I&D de modelos de gama média — iteração rápida em fine-tunes de 30-70B, uma placa por experiência
Desempenho medido
Referências publicadas | folha de dados da NVIDIA L4 + benchmarks da comunidade
| Benchmark | Resultado |
|---|---|
| TOPS INT8 por placa (folha de dados NVIDIA) | 242 TOPS |
| TOPS INT8 agregados (6 placas) | 1 452 TOPS |
| Llama 3.1 8B Q4 numa única L4 (comunidade) | ~35-45 tok/s em fluxo único |
| QPS de embedding BGE-M3 na L4 (comunidade) | ~800 QPS com entrada de 512 tokens |
| Fator de tempo real do Whisper v3 turbo | ~1.5-2x tempo real por placa |
Referências externas publicadas, não medidas em hardware Kentino. A Kentino publicará números próprios após a primeira montagem para cliente.
Menos indicado para
- MoE de fronteira acima de 200B em Q4+ com contexto longo — 4x L40 ou 8x RTX 4090 (pool de 192 GB, TP contíguo) é a escolha certa
- Cargas de treino — a L4 não tem FP8 nem largura de banda para um treino eficiente
- Débito máximo numa carga única — a computação por placa é modesta face a L40 / RTX Pro 6000
Garantia e prazo de entrega
Garantia OEM NVIDIA de 3 anos na L4 + garantia de integração Kentino. A montagem inclui assemblagem, configuração da BIOS, instalação de drivers, testes de burn-in e verificação funcional. O prazo de entrega depende da disponibilidade dos componentes e é confirmado na encomenda.
Extras recomendados
- Upgrade para NVMe de 4 TB para alojar a biblioteca de modelos
- Rack aberto de 24U com PDU gerida
As perguntas que os compradores mais nos fazem antes de encomendar um servidor.
Quanto tempo demora?
As máquinas construídas a partir de componentes que temos em stock são expedidas rapidamente; tudo o que exija uma geração específica de GPU depende da disponibilidade. Indicamos uma data antes do pagamento e, se essa data mudar, informamos o cliente em vez de o deixar descobrir por si.
A configuração pode ser alterada antes da montagem?
Quase sempre. As GPU, a memória, o armazenamento e o arrefecimento são escolhidos em cada encomenda e a configuração indicada é um ponto de partida, não um pacote fixo. Se precisar de mais VRAM, de armazenamento mais rápido ou de outra abordagem de arrefecimento, diga-nos antes de encomendar e orçamentamos a alteração.
Posso levantar o servidor pessoalmente?
Pode, sim. O nosso armazém fica em Praga e o levantamento em pessoa é bem-vindo — a maioria de quem nos visita aproveita para rever a máquina com o nosso engenheiro e fazer as perguntas que são difíceis de resolver por e-mail. Nas encomendas dentro da República Checa tentamos também entregar pessoalmente e explicar a instalação no local.
Posso falar com alguém que perceba mesmo da carga de trabalho?
Sim. Temos um engenheiro dedicado especificamente a sistemas de IA, e não um balcão de vendas genérico. Se a sua pergunta é sobre tamanhos de lote, quantização, interligação ou onde estará o seu estrangulamento, coloque-a — essa conversa costuma melhorar a configuração final.
Que modelo posso executar nesta configuração?
Sim. Todas as máquinas são montadas, submetidas a testes de burn-in e avaliadas com cargas de trabalho de IA reais antes do envio, e saem das nossas instalações com um LLM já instalado e a funcionar. Basta ligá-la à corrente, ligá-la à sua rede e começar a trabalhar — a única decisão que resta é qual o primeiro projeto que irá correr.
Como testam um servidor antes da expedição?
Testamo-lo com cargas de trabalho de IA reais, e não com pontuações sintéticas: débito de inferência, comportamento sob carga sustentada e desempenho térmico em funcionamento contínuo. Os resultados dos benchmarks seguem com a máquina, por isso o desempenho prometido é o desempenho que pode verificar logo no primeiro dia.
O servidor chega pronto a funcionar?
Sim. Todas as máquinas são montadas, submetidas a testes de burn-in e avaliadas com cargas de trabalho de IA reais antes do envio, e saem das nossas instalações com um LLM já instalado e a funcionar. Basta ligá-la à corrente, ligá-la à sua rede e começar a trabalhar — a única decisão que resta é qual o primeiro projeto que irá correr.
Expedido a partir do nosso armazém na UE. Os artigos pesados podem exigir transporte de carga — contacte-nos para obter um orçamento de envio e o prazo de entrega. Garantia limitada de 2 anos com apoio RMA avançado; garantia alargada disponível.
Não é exatamente o que procura?
Diga-nos qual é a sua carga de trabalho e configuramos esta plataforma à sua medida — GPU, memória, armazenamento e arrefecimento ajustados ao que realmente executa.