Tokens por segundo por euro: economia de GPU na inferência

A maioria dos compradores faz a pergunta errada. Querem saber qual é a GPU "mais rápida". A pergunta certa para uma carga de trabalho de inferência em produção é "que GPU produz mais tokens por euro gasto nos próximos três anos, para o modelo que realmente sirvo". As duas perguntas têm respostas diferentes, e a diferença é suficientemente grande para que escolher pela velocidade bruta custe regularmente aos clientes da Kentino 30–60% do orçamento.

Este artigo faz as contas. Destina-se a quem está a dimensionar uma instalação de inferência, já leu W01 e N03, e precisa agora de decidir entre uma RTX 5090, uma RTX Pro 6000 Blackwell, uma L40 ou uma L4 — e quantas delas.

A métrica: porquê tok/s por euro e não tok/s

Há dois regimes de desempenho que importam, e confundi-los é o erro de dimensionamento mais comum.

Os tok/s em fluxo único são o que um utilizador vê enquanto espera por uma resposta. São limitados pela largura de banda na geração de tokens e resultam quase inteiramente da largura de banda de VRAM dividida pelo espaço ocupado pelos pesos do modelo (ver W01). Os tok/s de débito sustentado são o que um servidor debita para muitos utilizadores em simultâneo, com batching contínuo ativo. Em hardware de classe Blackwell, isto passa a ser limitado pela computação assim que os lotes ultrapassam 16. É o que interessa em produção.

Os dois divergem 10–25× na mesma placa. Um Llama 70B INT4 em fluxo único numa RTX Pro 6000 Blackwell fica perto dos 32 tok/s. A mesma placa, com lote 32 e batching contínuo do vLLM, atinge mais de 600 tok/s agregados. Escolher pelo fluxo único subdimensiona instalações de débito numa ordem de grandeza; escolher pelo débito sobredimensiona as sensíveis à latência. As contas de TCO aqui usam o débito sustentado, porque é isso que domina a fatura.

Preços de retalho atuais na UE (maio de 2026)

Os preços abaixo são de retalho na UE, sem IVA, no canal aberto — não são contratos de volume OEM nem aluguer em cloud. Obtidos a partir de agregadores de preços da UE e de listas de distribuidores em maio de 2026. Trate-os como intervalos; variações de 10–20% de trimestre para trimestre são normais.

Duas observações só a partir desta tabela. A Pro 6000 Server Edition custa cerca de 3× o preço de uma 5090 por 3× a VRAM e largura de banda equivalente — o preço acompanha a capacidade de memória, não a velocidade bruta. A L4 é a única placa aqui abaixo dos 100 W. Só esse facto remodela o TCO assim que a eletricidade entra na equação.

Resultados de benchmark com uma só GPU

Os números abaixo provêm de benchmarks públicos (vLLM, llama.cpp, SGLang) recolhidos na Spheron, CloudRift, RunPod e nas execuções publicadas pelo próprio projeto vLLM, de maio de 2025 a maio de 2026. Não são o nosso banco de ensaio — cruzámo-los com as nossas máquinas internas de 4×5090 e 4×Pro 6000 nas células que servimos regularmente; os números públicos acompanham dentro de ±15%.

Llama 3.3 70B FP8 — descodificação em fluxo único

Llama 3.3 70B INT4 (AWQ) — descodificação em fluxo único

Qwen 2.5 32B INT4 (AWQ) — fluxo único

Llama 3 8B FP16 — fluxo único e agregado

Algumas leituras honestas destas tabelas. A 5090 e a Pro 6000 Blackwell têm largura de banda idêntica (1.79 TB/s) e taxas de descodificação por token idênticas — as diferenças estão na capacidade de VRAM e no ECC, não na velocidade. A L40 fica a cerca de metade da velocidade em inferência face ao par Blackwell, porque a GDDR6 ECC dá 860 GB/s contra 1,790 GB/s. A L4 é uma placa com um quarto da largura de banda; compensa com densidade e preço.

Para trabalho em fluxo único na classe dos 70B, a Pro 6000 Blackwell é a única placa que corre o modelo em FP8 num só slot. A 5090 obriga a INT4 e a paralelismo tensorial a duas vias — e um TP=2 em PCIe perde 30–35% no all-reduce (ver N03).

Escalar com várias GPU: o imposto do PCIe

O paralelismo tensorial apenas sobre PCIe não escala linearmente. Abordámos o mecanismo em N03; aqui ficam os multiplicadores empíricos que deve introduzir num modelo de TCO.

Os caminhos de paralelismo em pipeline e de dados escalam de forma quase linear; o paralelismo tensorial paga um imposto que cresce com o número de GPU. Para um modelo da classe dos 70B, a configuração certa em 8× 5090 são duas réplicas independentes (DP=2 × TP=4) ou TP=4 × PP=2 — não TP=8. Ver K03 para as regras de configuração.

Isto conta para o custo porque duplicar o número de GPU nunca duplica o débito. Uma projeção ingénua de orçamento do tipo "o dobro das GPU, o dobro dos tok/s" promete a mais 30–50%.

O modelo de TCO a 3 anos

O preço de tabela da GPU é cerca de metade do custo real de manter uma placa de inferência a trabalhar durante três anos. A outra metade é eletricidade, a parte do chassis e o espaço no pavimento. O modelo abaixo é o que usamos internamente no dimensionamento Kentino AI.

TCO a 3 anos por GPU =
    custo da GPU
  + parte do chassis (chassis + CPU + RAM + fonte + NIC) / n.º de GPU
  + eletricidade:  TDP × utilização × 8,760 h × 3 × €0.20/kWh
  + parte do espaço em colocation/rack
  + manutenção & peças de reserva (~5% do custo da GPU / ano)

Pressupostos usados abaixo:

• Eletricidade: €0.20/kWh em média (colocation industrial típica na UE ou centro de dados próprio). No retalho empresarial checo é frequentemente €0.18–€0.22; na Alemanha é mais alto.
• Utilização: 60% sustentados (uma carga de produção realista — não os 100% do benchmark, nem os 5% de laboratório).
• PUE: 1.4. Sobrecarga do centro de dados (arrefecimento, perdas de distribuição). Isto eleva a eletricidade efetiva a 0.28 €/kWh de consumo da GPU.
• Parte do chassis: €4,000 amortizados por 4 GPU (€1,000/GPU) numa máquina Kentino de 4 GPU com 5090; €8,000 por 8 (€1,000/GPU) no chassis de 8 GPU com Pro 6000.
• Manutenção: 5%/ano do custo da GPU (fundo para placa de reserva + tempo de drivers/operações).

Tabela de TCO por GPU

Linhas de eletricidade: TDP × 0.60 × 8,760 × 3 × 0.20 × 1.4 (PUE) / 1,000. A linha da L4 é impressionante — a sua fatura de eletricidade sustentada a 3 anos é de €318. A da 5090 é de €2,540. Oito vezes o consumo, oito vezes a fatura.

Custo por milhão de tokens

Agora combine o TCO com o débito sustentado medido numa carga representativa — Llama 3.3 70B INT4 com lote 32, ou Qwen 32B com lote 32, ou Llama 8B com lote 64. Pegue nos tok/s sustentados de uma placa, multiplique por 0.60 de utilização × 3 × 8,760 × 3,600 para obter o total de tokens servidos e divida o TCO por esse valor. Os números abaixo são ilustrativos; ajuste-os ao seu modelo e lote reais.

Leia a terceira coluna como o custo por milhão de tokens servidos, com o TCO totalmente carregado. Os open routers e as APIs em cloud para os mesmos modelos cobram €0.10–€2.00 por milhão de tokens, consoante o escalão; isto coloca o on-premises na mesma ordem de grandeza, ou mais barato, com carga sustentada. As contas deixam de fazer sentido abaixo de 30% de utilização — o TCO passa a ser dominado pelo investimento que pagou, usasse-o ou não.

O caso da 5090

No papel, a 5090 tem a melhor relação de tok/s brutos por euro de todas as placas da gama Kentino para inferência abaixo dos 72B. €2,800 por 1.79 TB/s de largura de banda e 32 GB de GDDR7 é muita placa. Para servir um modelo da classe dos 32B a um único utilizador, nada se aproxima desta relação.

A 5090 desmorona-se em dois pontos:

1. Modelos que não cabem em 32 GB na quantização pretendida. Um 70B em FP8 (~75 GB) precisa de 3–4 placas; um 70B em INT4 (~40 GB) precisa de 2. Assim que recorre a paralelismo tensorial sobre PCIe, paga o imposto de 30–50% do all-reduce e os seus tok/s por placa colapsam.
2. Escalar para além do paralelismo em pipeline. 8× 5090 é um produto real (nós construímo-lo), mas o débito por placa num 70B com paralelismo tensorial é cerca de 0.55× o valor de placa única. Comprou oito placas e obteve 4.4× o débito. Não 8×.

A força da 5090 está em alojar várias réplicas de modelos mais pequenos. 4× 5090 a correr quatro réplicas independentes de Qwen 32B atrás de um balanceador de carga batem 4× 5090 em paralelismo tensorial sobre um único Llama 70B, tanto em débito como em latência — e evitam por completo a penalização do PCIe.

O caso da Pro 6000 Blackwell

96 GB de GDDR7 ECC a 1.79 TB/s é o que se compra quando um 70B em FP8 tem de caber numa só placa e não se quer discutir com o PCIe por causa disso. As edições Workstation e Server partilham o mesmo silício, a mesma memória e a mesma largura de banda — a diferença está no formato (arrefecimento ativo ou passivo), na BIOS de potência máxima e na validação para chassis de servidor OEM. A Server Edition custa mais €700–€1,500 e é a escolha certa para qualquer montagem rack-mount a funcionar 24/7.

Onde a Pro 6000 ganha em tok/s por euro:

• Alojar um 70B em FP8 numa só placa. Sem paralelismo tensorial, sem imposto de PCIe. Mais de 30 tok/s em fluxo único e mais de 480 tok/s agregados com batching.
• Escalar horizontalmente com réplicas. 4× Pro 6000 = quatro réplicas independentes de 70B atrás de um router. Escalonamento linear do débito e isolamento gracioso das falhas.
• ECC para treino. Se a carga de trabalho incluir afinação LoRA / QLoRA ou retreino completo, o ECC compensa (ver W01).

Onde a Pro 6000 é exagero: qualquer instalação que não precise de >32 GB por placa. Se todos os seus modelos couberem numa 5090, está a pagar 3× o preço por VRAM que não vai usar. Vemos isto com regularidade — o comprador especifica a Pro 6000 por ser a placa "profissional" e depois corre nela um modelo de 13B.

O caso da L40

A L40 ocupa uma posição desconfortável. 48 GB ECC, GDDR6 em vez de GDDR7, 860 GB/s de largura de banda — cerca de metade de uma Pro 6000 Blackwell em inferência, por 75–90% do preço. Em tok/s por euro puros em inferência, ganha a Pro 6000.

O argumento a favor da L40 assenta noutros três eixos:

1. TDP. 300 W contra 600 W. Metade da eletricidade em três anos (€1,325 contra €2,650 no nosso modelo). Em racks termicamente limitados ou circuitos monofásicos, é a diferença entre quatro placas e duas.
2. Validação para centro de dados. A L40 vem com arrefecimento passivo, validação OEM na Supermicro/Dell/HPE e o percurso padrão de garantia de 5 anos para centro de dados. A Pro 6000 Workstation não está validada para funcionamento 24/7 em chassis; a Server Edition está, mas é mais recente no canal.
3. Teto de fiabilidade. A L40 foi concebida de raiz para carga de servidor contínua. O tempo médio entre falhas numa carga de inferência 24/7 é mensuravelmente melhor do que o da 5090, derivada do segmento de consumo.

A leitura honesta: se o cliente valoriza mais a disponibilidade do que os tok/s brutos — setores regulados, contratos de SLA com piquete, tudo o que perde dinheiro quando uma placa morre a meio da noite —, a L40 compensa o custo em tok/s por euro. Em pura relação preço/desempenho, não compensa.

O caso da L4

A L4 é aquela por que ninguém pergunta e a que a maioria dos clientes deveria comprar. 24 GB, 72 W, slot único, sem necessidade de conector de alimentação, arrefecimento passivo. Cabem oito num servidor 1U. Cabem dezasseis num 2U.

Onde a L4 é boa:

• Servir modelos da classe dos 8B em escala. Um Llama 3 8B FP8 com lote 64 fica perto dos 650 tok/s por placa. Oito L4 num chassis = 5,000 tok/s agregados para um endpoint Llama 8B. E esse chassis consome 600 W em GPU.
• Densidade com várias réplicas. Cada L4 aloja um modelo de 8B independente. Oito réplicas atrás de um balanceador de carga, sem qualquer comunicação entre GPU. A falha de uma placa retira 1/8 da capacidade, não o serviço inteiro.
• Locais com potência limitada. Um circuito de 16 A alimenta doze L4 mais a sobrecarga do host. O mesmo circuito mal chega para três 5090.
• Custo por milhão de tokens. A €0.12/Mtok num 8B em FP8, a L4 é mais barata do que qualquer API em cloud para a mesma classe de modelo.

Onde a L4 é má: tudo acima de 13B, tudo o que exija largura de banda a sério e treino de qualquer tipo. A L4 é uma placa de inferência de função fixa para modelos de classe pequena a média. Se a sua carga de trabalho não se enquadra aí, não a considere.

Comparação honesta com a cloud

As contas da cloud para uma montagem equivalente. A AWS p5.48xlarge (8× H100 SXM) está tabelada a $98.32/h a pedido, o que normalizado dá $12.29 por GPU-hora. As clouds especializadas em IA (Lambda, RunPod, CoreWeave) ficam nos $2.00–$4.00 por hora de H100 a pedido, e abaixo disso com compromissos de 1 ano.

Custo de cloud a pedido, a três anos, para um slot de inferência equivalente a um H100:

• AWS a pedido: $12.29 × 8,760 × 3 = $323,000
• Cloud de IA com desconto/spot: $2.50 × 8,760 × 3 = $65,700
• Cloud de IA reservada a 1 ano: ~$1.80 × 8,760 × 3 = $47,300

Kentino on-premises com 8× Pro 6000 Server Edition: TCO de ~€115,000 em três anos para oito placas. €14,400 por placa. Isso é cerca de um quarto do H100 reservado mais barato em cloud para um débito comparável em inferência (a Pro 6000 BW fica nos ~60–70% do H100 SXM em cargas de inferência que não dependem de NVLink).

Ponto de equilíbrio face a um H100 reservado em cloud de IA: a máquina on-premises de 8× Pro 6000 paga-se a cerca de 50% de utilização sustentada ao longo de três anos. Abaixo disso, alugue. Acima disso, compre. São as mesmas contas a que chega qualquer comprador on-premises sério, e a razão pela qual a inferência on-premises não morreu em 2026, apesar dos cortes de preço na cloud.

Matriz de recomendação de GPU por carga de trabalho

A leitura honesta

A maioria dos clientes da Kentino entra a perguntar qual é a placa mais rápida. Para a carga de trabalho que a maioria tem de facto — um modelo de chat de 7B ou 8B, talvez um modelo de raciocínio de 32B, talvez um modelo de visão na classe dos 7B–13B —, a resposta certa é a L4 ou a 5090, não o topo de gama. O sobrecusto da Pro 6000 Blackwell, aos nossos preços, é de €5,000–€7,000 por placa. Com quatro placas por máquina, são €20,000–€28,000 de VRAM que o cliente paga e não usa.

O trabalho é perguntar que modelos, com que concorrência, com que janela de contexto — e dimensionar em conformidade. Negócio mais pequeno, e o cliente volta quando crescer.

---

Este artigo faz parte da Kentino Wiki, uma série de referência sobre computação de IA, robótica e os sistemas que as ligam. Comentários e correções são bem-vindos em info@kentino.com.