Tokens par seconde par euro : l'économie GPU de l'inférence

La plupart des acheteurs posent la mauvaise question. Ils veulent savoir quel GPU est « le plus rapide ». Pour une charge de travail d'inférence en production, la bonne question est : « quel GPU produit le plus de tokens par euro dépensé sur les trois prochaines années, pour le modèle que je sers réellement ». Ces deux questions n'ont pas la même réponse, et l'écart est assez large pour que choisir sur la vitesse brute coûte régulièrement 30–60% de leur budget aux clients de Kentino.

Cet article fait les calculs. Il s'adresse à celles et ceux qui dimensionnent une machine d'inférence, ont lu W01 et N03, et doivent maintenant trancher entre une RTX 5090, une RTX Pro 6000 Blackwell, une L40 ou une L4 — et en déterminer le nombre.

La métrique : pourquoi des tok/s par euro, et non des tok/s

Deux régimes de performance comptent, et les confondre est l'erreur de dimensionnement la plus fréquente.

Les tok/s en flux unique correspondent à ce que voit un utilisateur qui attend une réponse. La génération de tokens y est limitée par la bande passante et dépend presque entièrement de la bande passante VRAM divisée par l'empreinte des poids du modèle (voir W01). Les tok/s en débit soutenu correspondent à ce qu'un serveur délivre auprès de nombreux utilisateurs simultanés, avec le batching continu activé. Sur du matériel de classe Blackwell, la limite devient le calcul dès que les lots dépassent 16. C'est ce qui compte en production.

Les deux divergent d'un facteur 10–25× sur une même carte. En flux unique, Llama 70B INT4 sur une RTX Pro 6000 Blackwell tourne autour de 32 tok/s. La même carte en lot de 32 avec le batching continu de vLLM dépasse 600 tok/s cumulés. Choisir sur le flux unique sous-dimensionne d'un ordre de grandeur les déploiements orientés débit ; choisir sur le débit surdimensionne ceux qui sont sensibles à la latence. Les calculs de TCO présentés ici reposent sur le débit soutenu, parce que c'est lui qui détermine la facture.

Prix de détail actuels dans l'UE (mai 2026)

Les prix ci-dessous sont des prix de détail UE, HT, sur le canal ouvert — ni contrats OEM en volume, ni location cloud. Relevés sur des comparateurs de prix européens et des listes de distributeurs en mai 2026. À considérer comme des fourchettes ; des variations de 10–20% d'un trimestre à l'autre sont normales.

Deux observations à la seule lecture de ce tableau. La Pro 6000 Server Edition coûte environ 3× le prix d'une 5090 pour 3× la VRAM et une bande passante équivalente — le prix suit la capacité mémoire, pas la vitesse brute. La L4 est la seule carte ici sous les 100 W. Ce seul fait redessine le TCO dès que l'électricité entre dans l'équation.

Résultats de benchmark sur un seul GPU

Les chiffres ci-dessous proviennent de benchmarks publics (vLLM, llama.cpp, SGLang) relevés chez Spheron, CloudRift, RunPod et dans les exécutions publiées par le projet vLLM lui-même, de mai 2025 à mai 2026. Ce ne sont pas les mesures de Kentino — nous les avons recoupées avec nos machines internes 4×5090 et 4×Pro 6000 pour les cas que nous traitons régulièrement ; les chiffres publics collent à ±15% près.

Llama 3.3 70B FP8 — décodage en flux unique

Llama 3.3 70B INT4 (AWQ) — décodage en flux unique

Qwen 2.5 32B INT4 (AWQ) — flux unique

Llama 3 8B FP16 — flux unique et cumulé

Quelques lectures honnêtes de ces tableaux. La 5090 et la Pro 6000 Blackwell affichent une bande passante identique (1.79 TB/s) et le même débit de décodage par token — les différences portent sur la capacité VRAM et l'ECC, pas sur la vitesse. La L40 tourne environ à mi-vitesse en inférence face au duo Blackwell, parce que la GDDR6 ECC plafonne à 860 GB/s contre 1,790 GB/s. La L4 n'offre qu'un quart de la bande passante ; elle le compense par la densité et le prix.

Pour du flux unique en classe 70B, la Pro 6000 Blackwell est la seule carte qui fait tourner le modèle en FP8 sur un seul slot. La 5090 vous impose l'INT4 et un parallélisme tensoriel à 2 voies — et TP=2 sur PCIe perd 30–35% dans l'all-reduce (voir N03).

Mise à l'échelle multi-GPU : la taxe PCIe

Le parallélisme tensoriel sur PCIe seul ne passe pas à l'échelle de façon linéaire. Nous en avons détaillé le mécanisme dans N03 ; voici les multiplicateurs empiriques à intégrer dans un modèle de TCO.

Les approches en parallélisme de pipeline et de données passent à l'échelle de façon quasi linéaire ; le parallélisme tensoriel paie une taxe qui croît avec le nombre de GPU. Pour un modèle de classe 70B, la bonne configuration sur 8× 5090 est deux répliques indépendantes (DP=2 × TP=4) ou TP=4 × PP=2 — pas TP=8. Voir K03 pour les règles de configuration.

Cela pèse sur le coût, car doubler le nombre de GPU ne double jamais le débit. Une projection budgétaire naïve du type « deux fois plus de GPU, deux fois plus de tok/s » surpromet de 30–50%.

Le modèle de TCO sur 3 ans

Le prix affiché du GPU représente à peu près la moitié du coût réel d'exploitation d'une carte d'inférence sur trois ans. L'autre moitié, c'est l'électricité, la quote-part du châssis et la surface au sol. Le modèle ci-dessous est celui que nous utilisons en interne pour dimensionner nos serveurs IA Kentino.

TCO sur 3 ans par GPU =
    coût du GPU
  + quote-part du châssis (châssis + CPU + RAM + alimentation + carte réseau) / nombre de GPU
  + électricité :  TDP × taux d'utilisation × 8,760 h × 3 × 0.20 €/kWh
  + quote-part de l'espace colocation/rack
  + maintenance & pièces de rechange (~5% du coût du GPU / an)

Hypothèses retenues ci-dessous :

• Électricité : 0.20 €/kWh en moyenne (colocation industrielle UE ou centre de données en propre). En République tchèque, le tarif professionnel se situe souvent entre 0.18 et 0.22 € ; il est plus élevé en Allemagne.
• Taux d'utilisation : 60% en continu (une charge de production réaliste — ni les 100% du benchmark, ni les 5% du laboratoire).
• PUE : 1.4. Surcoût du centre de données (refroidissement, pertes de distribution). L'électricité effective passe ainsi à 0.28 €/kWh consommé par le GPU.
• Quote-part du châssis : 4,000 € amortis sur 4 GPU (1,000 €/GPU) pour une machine Kentino 4 GPU en 5090 ; 8,000 € sur 8 (1,000 €/GPU) pour le châssis 8 GPU en Pro 6000.
• Maintenance : 5%/an du coût du GPU (provision pour carte de rechange + temps de pilotes et d'exploitation).

Tableau du TCO par GPU

Lignes électricité : TDP × 0.60 × 8,760 × 3 × 0.20 × 1.4 (PUE) / 1,000. La ligne L4 est frappante : sa facture d'électricité sur trois ans en charge soutenue s'élève à 318 €. Celle de la 5090 atteint 2,540 €. Huit fois la consommation, huit fois la facture.

Coût par million de tokens

Combinez maintenant le TCO avec le débit soutenu mesuré sur une charge représentative — Llama 3.3 70B INT4 en lot de 32, Qwen 32B en lot de 32, ou Llama 8B en lot de 64. Prenez les tok/s soutenus d'une carte, multipliez-les par 0.60 d'utilisation × 3 × 8,760 × 3,600 pour obtenir le total de tokens servis, puis divisez le TCO par ce nombre. Les chiffres ci-dessous sont indicatifs ; ajustez-les à votre modèle et à votre taille de lot.

Lisez la troisième colonne comme le coût par million de tokens servis, TCO complet inclus. Les routeurs ouverts et les API cloud facturent 0.10 à 2.00 € par million de tokens pour les mêmes modèles, selon la formule ; l'on-premise se situe donc dans le même ordre de grandeur, voire en dessous à charge soutenue. Le calcul s'effondre en dessous de 30% d'utilisation — le TCO est alors dominé par un capex que vous avez payé, que vous vous en serviez ou non.

Le cas de la 5090

Sur le papier, la 5090 offre le meilleur rapport tok/s bruts par euro de toute la gamme Kentino pour l'inférence en dessous de 72B. 2,800 € pour 1.79 TB/s de bande passante et 32 GB de GDDR7, cela fait beaucoup de carte. Pour servir un modèle de classe 32B à un seul utilisateur, rien d'autre n'affiche un tel ratio.

La 5090 s'effondre sur deux points :

1. Les modèles qui ne tiennent pas dans 32 GB à la quantification souhaitée. Un 70B FP8 (~75 GB) réclame 3 à 4 cartes ; un 70B INT4 (~40 GB) en réclame 2. Dès que vous passez au parallélisme tensoriel sur PCIe, vous payez la taxe d'all-reduce de 30–50% et vos tok/s par carte s'effondrent.
2. La montée en charge multi-GPU au-delà du parallélisme de pipeline. 8× 5090 est un vrai produit (nous le construisons), mais le débit par carte sur un 70B en parallélisme tensoriel représente environ 0.55× le chiffre d'une carte seule. Vous avez acheté huit cartes et obtenu 4.4× le débit. Pas 8×.

La force de la 5090, c'est d'héberger plusieurs répliques de modèles plus petits. 4× 5090 faisant tourner quatre répliques indépendantes de Qwen 32B derrière un répartiteur de charge battent 4× 5090 en parallélisme tensoriel sur un seul Llama 70B, à la fois en débit et en latence — et évitent complètement la pénalité PCIe.

Le cas de la Pro 6000 Blackwell

96 GB de GDDR7 ECC à 1.79 TB/s, c'est ce que vous achetez quand un 70B FP8 doit tenir sur une seule carte et que vous ne voulez pas négocier avec le PCIe. Les éditions Workstation et Server partagent le même silicium, la même mémoire et la même bande passante — la différence tient au format (refroidissement actif ou passif), au BIOS pleine puissance et à la validation pour les châssis serveurs OEM. La Server Edition coûte 700 à 1,500 € de plus et c'est le bon choix pour toute machine en rack qui tourne 24h/24 et 7j/7.

Là où la Pro 6000 gagne en tok/s par euro :

• Hébergement d'un 70B FP8 sur une seule carte. Pas de parallélisme tensoriel, pas de taxe PCIe. Plus de 30 tok/s en flux unique, plus de 480 tok/s cumulés en lots.
• Montée en charge par répliques. 4× Pro 6000 = quatre répliques 70B indépendantes derrière un routeur. Mise à l'échelle linéaire du débit, isolation élégante des pannes.
• L'ECC pour l'entraînement. Si la charge inclut du fine-tuning LoRA / QLoRA ou un réentraînement complet, l'ECC justifie son coût (voir W01).

Là où la Pro 6000 est surdimensionnée : tout déploiement qui n'a pas besoin de >32 GB par carte. Si tous vos modèles tiennent sur une 5090, vous payez 3× le prix pour de la VRAM que vous n'utiliserez pas. Nous le voyons régulièrement : l'acheteur spécifie la Pro 6000 parce que c'est la carte « professionnelle », puis y fait tourner un modèle 13B.

Le cas de la L40

La L40 occupe une position inconfortable. 48 GB ECC, de la GDDR6 et non de la GDDR7, 860 GB/s de bande passante — soit environ la moitié d'une Pro 6000 Blackwell en inférence, pour 75 à 90% du prix. En pur tok/s par euro à l'inférence, la Pro 6000 l'emporte.

Les arguments de la L40 reposent sur trois autres axes :

1. Le TDP. 300 W contre 600 W. Moitié moins d'électricité sur trois ans (1,325 € contre 2,650 € dans notre modèle). Dans des racks thermiquement contraints ou sur des circuits monophasés, c'est la différence entre quatre cartes et deux.
2. La validation centre de données. La L40 est livrée en refroidissement passif, validée OEM chez Supermicro, Dell et HPE, avec le parcours de garantie centre de données standard de 5 ans. La Pro 6000 Workstation n'est pas validée pour un fonctionnement 24h/24 en châssis ; la Server Edition l'est, mais elle est plus récente sur le canal.
3. Le plafond de fiabilité. La L40 est conçue pour une charge serveur soutenue. Le temps moyen entre pannes sur une charge d'inférence 24h/24 y est mesurablement meilleur que sur la 5090, dérivée du grand public.

La lecture honnête : si votre client tient davantage à la disponibilité qu'aux tok/s bruts — secteurs réglementés, contrats SLA avec astreinte, tout ce qui coûte de l'argent lorsqu'une carte lâche en pleine nuit — la L40 vaut le sacrifice en tok/s par euro. Pour le rapport prix-performance brut, non.

Le cas de la L4

La L4 est celle dont personne ne parle et celle que la plupart des clients devraient acheter. 24 GB, 72 W, simple slot, aucun connecteur d'alimentation requis, refroidissement passif. Huit tiennent dans un serveur 1U. Seize dans un 2U.

Ce que la L4 fait bien :

• Servir des modèles de classe 8B à grande échelle. Llama 3 8B FP8 en lot de 64 tourne autour de 650 tok/s par carte. Huit L4 dans un même châssis = 5,000 tok/s cumulés pour un endpoint Llama 8B. Le tout pour 600 W de GPU.
• Densité multi-répliques. Chaque L4 héberge un modèle 8B indépendant. Huit répliques derrière un répartiteur de charge, sans la moindre communication inter-GPU. La panne d'une carte retire 1/8 de la capacité, pas le service entier.
• Sites contraints en puissance. Un circuit de 16 A alimente douze L4 plus la consommation de l'hôte. Le même circuit tient à peine trois 5090.
• Coût par million de tokens. À 0.12 €/Mtok pour du 8B FP8, la L4 revient moins cher que toutes les API cloud de la même classe de modèle.

Ce que la L4 fait mal : tout ce qui dépasse 13B, tout ce qui exige une vraie bande passante, et l'entraînement sous toutes ses formes. La L4 est une carte d'inférence à fonction fixe pour les petits et moyens modèles. Si votre charge de travail n'entre pas dans ce cadre, passez votre chemin.

Comparaison honnête avec le cloud

Le calcul côté cloud pour une machine équivalente. L'instance AWS p5.48xlarge (8× H100 SXM) est affichée à $98.32/h à la demande, soit $12.29 par GPU-heure. Les clouds IA spécialisés (Lambda, RunPod, CoreWeave) facturent $2.00–$4.00 l'heure de H100 à la demande, et moins encore avec un engagement d'un an.

Coût cloud à la demande sur trois ans pour un emplacement d'inférence équivalent à un H100 :

• AWS à la demande : $12.29 × 8,760 × 3 = $323,000
• Cloud IA spot/remisé : $2.50 × 8,760 × 3 = $65,700
• Cloud IA réservé 1 an : ~$1.80 × 8,760 × 3 = $47,300

Kentino on-premise, 8× Pro 6000 Server Edition : TCO d'environ 115,000 € sur trois ans pour huit cartes. Soit 14,400 € par carte. C'est environ un quart du H100 cloud réservé le moins cher pour un débit d'inférence comparable (la Pro 6000 BW atteint ~60–70% d'un H100 SXM sur les charges d'inférence qui ne dépendent pas de NVLink).

Seuil de rentabilité face à un H100 réservé chez un cloud IA : la machine on-premise 8× Pro 6000 s'amortit à environ 50% d'utilisation soutenue sur trois ans. En dessous, louez. Au-dessus, achetez. C'est le calcul auquel arrive tout acheteur on-premise sérieux, et la raison pour laquelle l'inférence on-premise n'est pas morte en 2026, malgré la baisse des tarifs cloud.

Matrice de recommandation charge de travail → GPU

L'avis honnête

La plupart des clients de Kentino arrivent en demandant quelle carte est la plus rapide. Pour la charge de travail que la plupart ont réellement — un modèle de chat 7B ou 8B, parfois un modèle de raisonnement 32B, parfois un modèle de vision en classe 7B–13B — la bonne réponse est la L4 ou la 5090, pas le vaisseau amiral. Le surcoût de la Pro 6000 Blackwell à nos tarifs est de 5,000 à 7,000 € par carte. À quatre cartes par machine, cela représente 20,000 à 28,000 € de VRAM que le client paie sans jamais l'utiliser.

Notre travail consiste à demander quels modèles, à quelle concurrence, avec quelle fenêtre de contexte — et à dimensionner en conséquence. L'affaire est plus petite, mais le client revient quand il passe à l'échelle.

---

Cet article fait partie du Kentino Wiki, une série de référence sur le calcul IA, la robotique et les systèmes qui les relient. Commentaires et corrections bienvenus à l'adresse info@kentino.com.