Kentino AI 96 Rome 4090 2644TOPS — Servidor de inferência de IA com 4× RTX 4090
Plataforma de nível empresarial, montada e testada na UE.
Kentino AI 96 Rome 4090 2644TOPS
Servidor de inferência com 96 GB de VRAM
4x RTX 4090 | EPYC Rome | 2 644 TOPS INT8
Medido em hardware Kentino. Llama 3.3 70B AWQ INT4 através de vLLM 0.19.0.
Um servidor de inferência rack-mount 4U com quatro GeForce RTX 4090 agregadas em 96 GB de VRAM, uma CPU AMD EPYC 7542 Rome (32C/64T), 256 GB DDR4 ECC, 2 TB NVMe de arranque e duas fontes de alimentação ATX de 2 kW sincronizadas. Corre vLLM, SGLang, llama.cpp, ComfyUI e todas as principais stacks de inferência de pesos abertos sem configuração adicional.
Hardware
| Componente | Detalhe |
|---|---|
| GPU | 4x NVIDIA GeForce RTX 4090 24 GB GDDR6X (450 W, PCIe 4.0 x16) |
| Pool de VRAM | 96 GB no total nas 4 placas |
| CPU | AMD EPYC 7542 Rome (32C/64T, 225 W, 128x linhas PCIe 4.0) |
| Placa-mãe | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| RAM do sistema | 256 GB DDR4-2666 ECC RDIMM (4x 64 GB) |
| Armazenamento | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Fonte de alimentação | Dupla ATX de 2 kW com cabo de sincronização |
| Chassis | rack-mount 4U, fluxo de ar dirigido de frente para trás |
| Arrefecimento | Cooler em torre SP3, 3x ventoinhas industriais de 120 mm à frente + 1x atrás |
| Rede | Dupla 10 GbE integrada (Intel X550) |
Envelope energético
- Consumo das GPU: 4 x 450 W = 1 800 W
- Total do sistema: ~2 125 W
- Total das fontes: 4 000 W (duas de 2 kW) — 46.9% de margem
- Entrega de energia repartida — a falha de uma fonte = perda de 2 GPU ou de 2 GPU + placa-mãe
Topologia de linhas PCIe
128 linhas PCIe Gen4 do EPYC para sete slots x16; quatro ocupados por GPU a Gen4 x16. Sem switch PCIe. Sem NVLink — peer-to-peer a 19-22 GB/s (medido pela Kentino).
O que pode correr nele
Com 96 GB de VRAM agregada nas 4 placas, este servidor dá conta de LLM de pesos abertos, modelos de visão, geração de imagem e vídeo, IA de voz e serviço multi-inquilino.
LLM — texto / raciocínio / programação
Fronteira chinesa
- Qwen3 / Qwen3.5: Qwen3-72B Q4 (~15-20 tok/s); Qwen3-32B Q6; Qwen3-30B-A3B MoE Q4-Q6; Qwen3-Coder-30B-A3B a 256k; Qwen3.5-122B-A10B Q4; QwQ-32B
- DeepSeek: DeepSeek-R2 32B Q4-Q6 (92.7% no AIME 2025); DeepSeek-R1-Distill-Qwen-32B bf16; DeepSeek-V2-Lite 16B
- GLM / Z.ai: GLM-4.5-Air 106B/12B Q4-Q5; GLM-4.6V-Flash; GLM-Zero 9B
- Hunyuan: Hunyuan-A13B Q4-Q6 (~48 GB), contexto de 256k, raciocínio de modo duplo
- Outros: Seed-OSS-36B Q4 contexto de 512k; ERNIE-4.5-47B-A3B Q4; Yi-34B Q6; Baichuan-M2-32B; Step-3.5-Flash
Fronteira ocidental
- Meta Llama: Llama 3.3 70B Q4_K_M (~20 tok/s em llama.cpp, ~179 tok/s em lote de 32 com vLLM — medido pela Kentino); Llama 3.1 8B bf16 (~80-120 tok/s); Llama 4 Scout Q4
- Mistral: Small 3 24B bf16; Magistral Small 24B de raciocínio; Devstral Small 2 24B contexto de 256k; Mixtral 8x7B Q6
- OpenAI: gpt-oss-20b MXFP4 (16 GB); gpt-oss-120b MXFP4 (80 GB, à justa)
- Outros: Gemma 3 27B Q6 128k; Phi-4 14B bf16; Nemotron-Super 49B Q4; Granite 4.0 H-Small; OLMo 2 32B; Reka Flash 3; Command R 35B
Modelos de visão e linguagem
Qwen3-VL-8B/32B, Qwen3-VL-30B-A3B, Qwen3-Omni-30B-A3B; InternVL3 até 78B Q4; InternVL3.5-38B; DeepSeek-VL2; Llama 3.2 11B Vision; Pixtral 12B; Molmo 7B; Gemma 3 12B/27B; PaliGemma 2; MiniCPM-V 2.6 / MiniCPM-o 2.6.
Geração de imagem
FLUX.1 [dev]/[schnell] fp8 (~15-25 s por 1024x1024); FLUX.1 Kontext; FLUX Tools; SD 3.5 Large; SDXL; HunyuanImage-2.1 bf16 (~34 GB) 2K nativo; Kolors 2.0; AuraFlow; OmniGen v1.
Geração de vídeo
Wan 2.2 T2V-A14B/I2V-A14B MoE (~54 GB bf16); Wan 2.2 TI2V-5B 720p@24fps; HunyuanVideo 13B Q4-Q5; HunyuanVideo 1.5; CogVideoX-5B; Open-Sora 2.0; Mochi-1; LTX-Video; SVD/SV3D/SV4D; NVIDIA Cosmos Predict 2.
Áudio / Voz / TTS
- ASR: Whisper v3 turbo (~50x o tempo real); Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 3.0; Kokoro 82M; Stable Audio Open; Step-Audio-EditX
- Tempo real: Kyutai Moshi (full-duplex a 200 ms); Step-Audio 2 mini; Qwen2.5-Omni-7B
- Música: MusicGen; AudioGen; Suno Bark; SeamlessM4T v2
Serviço de vários modelos
- 4-8 utilizadores em simultâneo em LLM de 32-72B através de vLLM / SGLang com paralelismo tensorial
- Misto: Qwen3-32B + FLUX.1 + Whisper-turbo + Moshi com VRAM particionada
- Fine-tuning LoRA/QLoRA de 32-72B; parâmetros completos de 7-14B
- RAG com Command R+ ou Qwen3 + BGE-M3/E5/Jina
Cargas de trabalho alvo
- Gateway de inferência para uma organização de 50-200 postos (70B Q4-Q6, 4-8 sessões em simultâneo)
- Pipeline de difusão/vídeo em lote (SDXL + FLUX.1 + Wan 2.2 durante a noite)
- Laboratório de fine-tuning LoRA/QLoRA para adaptações de domínio de 7-34B
- Assistente documental RAG (Qwen3-VL + BGE-M3 + Command R, contexto de 32k)
- Caixa única mista: chat + imagem + ASR + voz em tempo real com VRAM particionada
Desempenho medido
Bancada de testes Kentino | 2026-04-10 | 4x RTX 4090 + EPYC 7542 + ROMED8-2T
| Benchmark | Resultado |
|---|---|
| Computação sustentada (fp16) | 647.7 TFLOPS |
| vLLM Llama 3.3 70B AWQ INT4 (pedido único) | 8.0 tok/s |
| vLLM Llama 3.3 70B AWQ INT4 (lote de 32) | 179.3 tok/s agregados |
| llama.cpp Llama 3.3 70B Q4_K_M (pedido único) | 20.3 tok/s |
| Avaliação do prompt | 1 568 tok/s |
| Largura de banda da memória da GPU | 920 GB/s por placa |
| Leitura/escrita NVMe | 4 589 / 4 213 MB/s |
| Pico térmico (burn GPU+CPU) | 73 C, queda de 0.6% |
O vLLM usou o kernel awq — 2-3x possível com awq_marlin.
Não é o ideal para
- Modelos densos de fronteira com mais de 100B em bf16 (DeepSeek V3/R1, GLM-4.5+, Kimi-K2, Mistral Large 3 — exigem 256 GB ou mais de VRAM)
- Treino de raiz (as RTX 4090 de consumo não têm NVLink)
Garantia e prazo de entrega
A montagem inclui assemblagem, configuração da BIOS, instalação de drivers, testes de burn-in e verificação funcional. O prazo de entrega depende da disponibilidade dos componentes e é confirmado na encomenda.
Extras recomendados
- Aumentar a RAM para 512 GB (acrescentar 4x 64 GB DDR4 — quatro slots DIMM livres)
- Disco NVMe secundário de 4 TB para preparação de conjuntos de dados e modelos
- Bastidor aberto de 24U para implementações com vários servidores
As perguntas que os compradores mais nos fazem antes de encomendar um servidor.
Quanto tempo demora?
As máquinas construídas a partir de componentes que temos em stock são expedidas rapidamente; tudo o que exija uma geração específica de GPU depende da disponibilidade. Indicamos uma data antes do pagamento e, se essa data mudar, informamos o cliente em vez de o deixar descobrir por si.
A configuração pode ser alterada antes da montagem?
Quase sempre. As GPU, a memória, o armazenamento e o arrefecimento são escolhidos em cada encomenda e a configuração indicada é um ponto de partida, não um pacote fixo. Se precisar de mais VRAM, de armazenamento mais rápido ou de outra abordagem de arrefecimento, diga-nos antes de encomendar e orçamentamos a alteração.
Posso levantar o servidor pessoalmente?
Pode, sim. O nosso armazém fica em Praga e o levantamento em pessoa é bem-vindo — a maioria de quem nos visita aproveita para rever a máquina com o nosso engenheiro e fazer as perguntas que são difíceis de resolver por e-mail. Nas encomendas dentro da República Checa tentamos também entregar pessoalmente e explicar a instalação no local.
Posso falar com alguém que perceba mesmo da carga de trabalho?
Sim. Temos um engenheiro dedicado especificamente a sistemas de IA, e não um balcão de vendas genérico. Se a sua pergunta é sobre tamanhos de lote, quantização, interligação ou onde estará o seu estrangulamento, coloque-a — essa conversa costuma melhorar a configuração final.
Que modelo posso executar nesta configuração?
Sim. Todas as máquinas são montadas, submetidas a testes de burn-in e avaliadas com cargas de trabalho de IA reais antes do envio, e saem das nossas instalações com um LLM já instalado e a funcionar. Basta ligá-la à corrente, ligá-la à sua rede e começar a trabalhar — a única decisão que resta é qual o primeiro projeto que irá correr.
Como testam um servidor antes da expedição?
Testamo-lo com cargas de trabalho de IA reais, e não com pontuações sintéticas: débito de inferência, comportamento sob carga sustentada e desempenho térmico em funcionamento contínuo. Os resultados dos benchmarks seguem com a máquina, por isso o desempenho prometido é o desempenho que pode verificar logo no primeiro dia.
O servidor chega pronto a funcionar?
Sim. Todas as máquinas são montadas, submetidas a testes de burn-in e avaliadas com cargas de trabalho de IA reais antes do envio, e saem das nossas instalações com um LLM já instalado e a funcionar. Basta ligá-la à corrente, ligá-la à sua rede e começar a trabalhar — a única decisão que resta é qual o primeiro projeto que irá correr.
Expedido a partir do nosso armazém na UE. Os artigos pesados podem exigir transporte de carga — contacte-nos para obter um orçamento de envio e o prazo de entrega. Garantia limitada de 2 anos com apoio RMA avançado; garantia alargada disponível.
Não é exatamente o que procura?
Diga-nos qual é a sua carga de trabalho e configuramos esta plataforma à sua medida — GPU, memória, armazenamento e arrefecimento ajustados ao que realmente executa.