Elegir GPU para cargas de trabajo de IA: 5090, 4090, RTX Pro 6000, L40 y L4 cara a cara
No existe una GPU universalmente correcta para el trabajo de IA en 2026. Existe la GPU correcta para una carga de trabajo definida, un envolvente de potencia definido y un presupuesto definido, y la tarjeta equivocada en el chasis correcto es un error más caro que la tarjeta correcta en el chasis equivocado. Este artículo recorre la gama de Kentino comparándola cara a cara, con cifras de rendimiento reales, compromisos expuestos con honestidad y un árbol de decisión que hemos utilizado de verdad en llamadas con clientes. No pretende que la H100 y la A100 no existan: existen, nosotros no las vendemos y vamos a concretar cuándo esa diferencia importa.
Las tarjetas sobre la mesa:
- RTX 5090 — 32 GB GDDR7, 1.79 TB/s, 575 W, gama de consumo.
- RTX 4090 — 24 GB GDDR6X, 1.01 TB/s, 450 W, gama de consumo, generación anterior.
- RTX Pro 6000 Blackwell Server Edition — 96 GB GDDR7 ECC, 600 W, refrigeración pasiva, formato de servidor, sin salidas de vídeo.
- RTX Pro 6000 Blackwell Max-Q — 96 GB GDDR7 ECC, 300 W, turbina de doble slot, el mismo silicio que la Workstation.
- L40 — 48 GB GDDR6 ECC, 0.86 TB/s, 300 W, formato de centro de datos, ECC completa.
- L4 — 24 GB GDDR6, 0.30 TB/s, 72 W, un solo slot de perfil bajo, inferencia en el edge.
Las especificaciones que de verdad importan
Las fichas técnicas de las GPU son densas y la mayoría de sus cifras no cambian una decisión de compra. Tres de ellas sí.
- Capacidad de VRAM. Esto es binario. O su modelo cabe, o no cabe. La descarga a CPU no es un sustituto viable (lo tratamos en W01).
- Ancho de banda de la VRAM. La generación de tokens en un transformer está limitada por el ancho de banda. Los TFLOPS de la ficha técnica son en gran medida irrelevantes para la inferencia.
- Potencia sostenida y formato. Una tarjeta de 600 W en un chasis incapaz de evacuar el calor es una tarjeta de 300 W con una alarma térmica. Una tarjeta de 72 W en un servidor 1U es una máquina distinta de una de 575 W en una estación de trabajo 4U.
| GPU | VRAM | Ancho de banda | TDP | Formato | ECC | Notas |
|---|---|---|---|---|---|---|
| RTX 4090 | 24 GB GDDR6X | 1.01 TB/s | 450 W | Consumo, 3 slots | No | Generación anterior, vía de ahorro |
| RTX 5090 | 32 GB GDDR7 | 1.79 TB/s | 575 W | Consumo, 2–3 slots | No | Reina del rendimiento/€ en inferencia |
| RTX Pro 6000 BW Max-Q | 96 GB GDDR7 | 1.79 TB/s | 300 W | Turbina de 2 slots | Sí | Alta densidad, menor consumo |
| RTX Pro 6000 BW Server Ed. | 96 GB GDDR7 | 1.79 TB/s | 600 W | Pasiva de 2 slots | Sí | Grado servidor, sin salida de vídeo |
| L40 | 48 GB GDDR6 | 0.86 TB/s | 300 W | Pasiva de 2 slots | Sí | Generación Ada para centro de datos |
| L4 | 24 GB GDDR6 | 0.30 TB/s | 72 W | 1 slot, perfil bajo | Sí | Inferencia en edge / 1U |
| H100 SXM (referencia, no se vende) | 80 GB HBM3 | 3.35 TB/s | 700 W | SXM5 | Sí | Nivel hiperescalar |
| H200 SXM (referencia, no se vende) | 141 GB HBM3e | 4.80 TB/s | 700 W | SXM5 | Sí | Reina del ancho de banda HBM |
Inferencia: tokens por segundo, por modelo y tarjeta
La generación de tokens en inferencia, con un solo flujo, equivale aproximadamente al ancho de banda dividido entre el tamaño del modelo y multiplicado por un factor de eficiencia de pila de 0.6–0.8. La tabla siguiente recoge lo que hemos medido en equipos de banco de pruebas con vLLM 0.6+ y llama.cpp al día en el segundo trimestre de 2026. INT4 salvo indicación en contra. Primero el rendimiento de un solo flujo; entre paréntesis, el agregado por lotes cuando es medible.
| Modelo | Cuantización | Tamaño | RTX 4090 | RTX 5090 | Pro 6000 BW Server/WS | Pro 6000 Max-Q | L40 | L4 |
|---|---|---|---|---|---|---|---|---|
| Qwen2.5 7B | INT4 | ~4 GB | 110–130 (220) | 180–220 (340) | 180–220 (340) | 170–200 (320) | 90–110 (200) | 35–45 (90) |
| Llama 3.2 13B | INT4 | ~7 GB | 70–85 (170) | 120–140 (250) | 120–140 (250) | 110–130 (230) | 60–75 (140) | 22–28 (60) |
| Qwen2.5 32B | INT4 | ~18 GB | 32–38 (90) | 55–65 (140) | 60–70 (150) | 55–65 (140) | 28–34 (80) | no cabe |
| Llama 3.3 70B | INT4 | ~40 GB | no cabe en una sola | necesita 2× (24–30) | 28–34 (90) en una sola tarjeta | 27–32 (85) | necesita 2× (16–22) | no cabe |
| Qwen2.5 72B | INT4 | ~42 GB | no cabe en una sola | necesita 2× (24–30) | 28–34 (90) en una sola tarjeta | 27–32 (85) | necesita 2× (16–22) | no cabe |
| Qwen2.5-VL 72B | INT4 | ~46 GB+ | no cabe en una sola | necesita 2× (12–18) | 18–24 en una sola tarjeta | 17–22 | necesita 2× (10–14) | no cabe |
| Llama 3.1 405B | INT4 | ~210 GB | no cabe | necesita 8× | 4× (un solo nodo) | 4× (un solo nodo) | necesita 5× | no cabe |
Unas cuantas salvedades honestas. Estas son cifras típicas en un chasis bien refrigerado y con el modelo plenamente residente. El TTFT con caché fría lo dominan la reserva de la caché KV y el cómputo de prefill, no el ancho de banda, y se sitúa en el rango de 200–900 ms en todas estas tarjetas. El rendimiento por lotes escala de forma sublineal más allá de 8–16 flujos concurrentes por la contención de cómputo. Si su aplicación es interactiva (chat, agente paso a paso), el flujo único importa más que el lote. Si su aplicación es masiva (procesamiento documental, autoetiquetado), importa más el lote.
El bloque de construcción de 4× 5090 es el caballo de batalla de nuestra gama por un motivo: cuesta €8,500–€14,000 solo en tarjetas, aloja cuatro GPU en un chasis 4U con un flujo de aire razonable y entrega unos 12,000 tok/s agregados en Llama 3.3 70B INT4 con vLLM y paralelismo tensorial. Una sola Pro 6000 Blackwell por €8,500 entrega unos 30 tok/s de flujo único y unos 90 tok/s por lotes en el mismo modelo. Para una máquina de servicio multiusuario, ganan las 5090. Para una carga de un solo usuario con contexto largo y modelos de más de 64 GB, gana la Pro 6000. No hay una respuesta universal.
Dónde tiene sentido cada tarjeta
RTX 5090: la reina del rendimiento/€, con aristas. Es la respuesta correcta cuando la carga es de inferencia, el presupuesto es real pero no ilimitado y el despliegue puede tolerar dos limitaciones conocidas: sin ECC y con transitorios de potencia de gama de consumo que exigen cuidado en la fuente de alimentación y en el chasis (véase W04). Para modelos de 13B y 32B, la 5090 es más rápida por euro que cualquier otra de la tabla. Para la clase 70B, cuatro 5090 en paralelismo tensorial entregan más rendimiento agregado que una sola Pro 6000 Blackwell con menos capex total. Lo malo: 575 W nominales con transitorios por encima de 600 W y un techo de 32 GB por tarjeta que obliga a usar varias GPU para 32B+ con contexto alto. Elíjala cuando: inferencia 24/7 de 7B–32B, el rendimiento/€ manda, dispone de flujo de aire en rack y la ECC no es un requisito normativo ineludible. Evítela cuando: la ECC es obligatoria, necesita 70B+ en una sola tarjeta o la sala no puede evacuar 2.4 kW de calor.
RTX 4090: solo como opción heredada de ahorro. En 2026 es una compra táctica. Apenas queda stock nuevo en tienda; el canal de segunda mano y remanente ronda los €1,400–€1,900. Por tarjeta rinde un ~55 % de una 5090 en inferencia limitada por memoria (1.01 frente a 1.79 TB/s) y ofrece 24 GB frente a 32 GB: esos 8 GB importan porque un modelo 32B INT4 deja más espacio para la caché KV en una 5090. Sigue teniendo sentido para ampliar una flota de 4090 existente con capex ajustado. ¿Empieza de cero? Compre 5090.
RTX Pro 6000 Blackwell Server Edition: la reina de la VRAM para cargas serias. 96 GB de GDDR7 ECC a 1.79 TB/s cambian qué modelos puede alojar. Una sola tarjeta alberga Qwen2.5-VL 72B INT4 con una caché KV holgada para unos 20 flujos concurrentes. Cuatro en un mismo nodo albergan Llama 3.1 405B INT4 en un único chasis sin red entre nodos. Refrigeración pasiva, diseñada para flujo de aire frontal-trasero en rack, sin salidas de vídeo y validada para 24/7. El mismo silicio que la Workstation Edition, el mismo límite de 600 W, distinta refrigeración. Elíjala cuando: necesite margen para 70B+ en una sola tarjeta, la ECC sea obligatoria, el despliegue sea en rack con flujo de aire adecuado, haya entrenamiento de por medio o menos tarjetas más grandes le compensen frente a más tarjetas pequeñas en espacio de rack y consumo.
RTX Pro 6000 Blackwell Max-Q: alta densidad sin recablear la sala. Los mismos 96 GB y 1.79 TB/s, limitados a 300 W. Cuatro tarjetas Max-Q consumen 1.2 kW en GPU; cuatro Server Edition consumen 2.4 kW. La penalización de rendimiento por el límite de potencia es real, pero menor que la proporción de vatios: la curva de rendimiento/W de Blackwell es muy pronunciada en la parte alta, así que limitarla a 300 W cuesta un 20–30 % de rendimiento en inferencia, no un 50 %. Elíjala cuando: el entorno esté limitado en potencia, quiera 96 GB por tarjeta, la densidad importe más que el pico de rendimiento por tarjeta o la acústica cuente.
L40: la tarjeta de inferencia empresarial, con ECC y trayectoria. Generación Ada. Más lenta que Blackwell en ancho de banda (0.86 frente a 1.79 TB/s) y en capacidad (48 frente a 96 GB), y con precio de SKU de centro de datos. La razón para comprarla es de compras: ECC completa, drivers validados, 300 W sostenidos y más de dos años de despliegue en producción. Para entornos que prohíben las tarjetas de consumo (seguros, administración pública, ciertos sectores regulados), esta es la tarjeta que marca la casilla. En rendimiento/€ puro pierde frente a la 5090. Elíjala cuando: la política de compras prohíba el hardware de consumo, la carga quepa en 48 GB y la fiabilidad 24/7 pese más que el rendimiento/€.
L4: inferencia en el edge, 1U, 72 W. Es la única tarjeta de esta lista que cabe en un servidor 1U junto a la placa base sin complicaciones, y la única que funciona con el presupuesto energético de un portátil. 72 W de TDP, un solo slot de perfil bajo, pasiva, 24 GB GDDR6 ECC y 300 GB/s. El ancho de banda es el cuello de botella: un modelo 7B de flujo único se queda en 35–45 tok/s, lo que es «suficiente», no «rápido». El caso de uso es el reparto: 8× L4 en un chasis 2U sobre un único host EPYC entregan 8 flujos de inferencia 7B concurrentes a un coste agregado modesto (unos €20k en tarjetas), consumen menos de 700 W y caben en cualquier circuito de oficina. Elíjala cuando: despliegue en el edge, 1U/2U, potencia limitada, el modelo quepa en 24 GB y la métrica sea el rendimiento por vatio.
Rendimiento por euro: la tabla que no debería enseñar a su director financiero
| GPU | Precio (€) | 7B INT4 tok/s (flujo único) | tok/s por €1k | 70B INT4 tok/s* | 70B tok/s por €1k |
|---|---|---|---|---|---|
| RTX 4090 (stock remanente) | ~€1,700 | 120 | 70.6 | necesita 2× = 28 | 8.2 (base: clúster de 4 tarjetas) |
| RTX 5090 | ~€2,400 | 200 | 83.3 | necesita 2× = 28 | 5.8 (base: clúster de 2 tarjetas) |
| RTX Pro 6000 BW Max-Q | ~€8,500 | 185 | 21.8 | 30 en una sola tarjeta | 3.5 |
| RTX Pro 6000 BW Server | ~€8,800 | 200 | 22.7 | 31 en una sola tarjeta | 3.5 |
| L40 | ~€7,800 | 100 | 12.8 | necesita 2× = 19 | 1.2 (base: 2 tarjetas) |
| L4 | ~€2,500 | 40 | 16.0 | no cabe | n/d |
| H100 SXM (referencia) | ~€28,000 | 220 | 7.9 | 60 en una sola tarjeta | 2.1 |
*Para 70B INT4: cifras por tarjeta cuando el modelo cabe en una sola; rendimiento agregado de flujo único cuando hace falta paralelismo tensorial entre varias tarjetas, dividido por el coste total de las tarjetas.
La 5090 es la reina del rendimiento/€ en todos los tamaños de modelo en los que logra alojar el modelo. Las Pro 6000 ganan en otro eje: alojar modelos de clase 70B en una sola tarjeta elimina la latencia y la complejidad añadidas del paralelismo tensorial. La L40 es, con diferencia, el peor rendimiento/€ de esta tabla: cuesta aproximadamente el triple que una 5090 por un ~50 % de su rendimiento en inferencia. Su propuesta de valor es el cumplimiento en compras y una trayectoria de producción de la generación Ada, no la economía pura. La L4 gana en rendimiento/€ justo en el rincón de modelos pequeños y bajo consumo, donde no tiene competencia.
Rendimiento por vatio: la tabla para el responsable de colocación
| GPU | TDP | 7B tok/s | tok/s por W | 70B tok/s* | 70B tok/s por W |
|---|---|---|---|---|---|
| L4 | 72 W | 40 | 0.56 | n/d | n/d |
| RTX Pro 6000 BW Max-Q | 300 W | 185 | 0.62 | 30 | 0.10 |
| L40 | 300 W | 100 | 0.33 | 19 (×2) | 0.03 |
| RTX 5090 | 575 W | 200 | 0.35 | 28 (×2) | 0.024 |
| RTX 4090 | 450 W | 120 | 0.27 | 28 (×2) | 0.031 |
| RTX Pro 6000 BW Server | 600 W | 200 | 0.33 | 31 | 0.052 |
| H100 SXM (referencia) | 700 W | 220 | 0.31 | 60 | 0.086 |
La Max-Q gana en rendimiento/W dentro de esta gama, y no por poco. Limitar una Blackwell de 96 GB a 300 W mantiene la tarjeta en la zona eficiente de su curva y obtiene casi todo el rendimiento de la Server Edition con la mitad de consumo en la toma. En colocación, donde la energía se mide y se paga entre €0.18 y €0.30 por kWh de forma continua, la Max-Q ahorra dinero real frente a la Server Edition a lo largo de un despliegue de varios años. Tenemos clientes que pasaron de la Server Edition a la Max-Q precisamente para no tener que ampliar la planta enfriadora de su edificio.
Notas sobre entrenamiento y ajuste fino
El entrenamiento no es el posicionamiento principal de Kentino: la mayoría de los clientes compran para inferencia. Pero el ajuste fino aparece por todas partes, y la elección para entrenar responde a otras restricciones. El entrenamiento de parámetros completos de modelos de 70B+ no es viable en esta gama; eso exige 8× H100/H200 SXM o nube alquilada, y así lo decimos. El ajuste fino con LoRA de 7B–32B funciona con holgura en 4× 5090 o 4× Pro 6000 BW Max-Q. El QLoRA de 70B prefiere 2× Pro 6000 BW (cualquier edición) a 4× 5090 con FSDP, porque una tarjeta por réplica del modelo es muchísimo más sencillo. La regla de decisión: si las ejecuciones de entrenamiento superan las 24 horas y son desatendidas, la ECC importa; elija Pro 6000 o L40. Por debajo de 24 horas y con una persona supervisando, la 5090 va bien y es más rápida por euro.
Visión-lenguaje y la cuestión Pro 6000 frente a H100
Los VLM cambian el cálculo porque la huella de activaciones es mayor y el prefill (codificación de la imagen) está más limitado por cómputo. Para Qwen2.5-VL 72B INT4 (~46 GB), la Pro 6000 BW entrega 18–24 tok/s en una sola tarjeta con un prefill de ~1.4 s; 2× 5090 en paralelismo tensorial entregan 12–18 tok/s con una sobrecarga de TP de 20–40 ms por token. Para inferencia local en robótica, la Pro 6000 BW es la elección más honesta, porque Qwen2.5-VL 72B es el modelo que la gente quiere ejecutar de verdad y una sola tarjeta elimina la sobrecarga de TP. Para canalizaciones de autoetiquetado y conversión masiva de imagen a texto, donde la latencia da igual, 4× 5090 siguen ganando en rendimiento/€.
Comparativa honesta: Pro 6000 BW frente a H100
No vendemos H100. Vamos a concretar el compromiso porque los clientes preguntan.
Tarjeta a tarjeta, la H100 SXM (80 GB HBM3, 3.35 TB/s) supera a la Pro 6000 BW Server (96 GB GDDR7 ECC, 1.79 TB/s) en inferencia de flujo único limitada por ancho de banda por un factor aproximado de 1.5–1.9×: 60 tok/s frente a 31 tok/s en Llama 3.3 70B INT4. La H100 cuenta además con NVLink y el conector mezzanine SXM5, que aportan 900 GB/s de interconexión entre GPU en un nodo HGX de 8 GPU. La Pro 6000 BW tiene PCIe 5.0 x16 (~63 GB/s efectivos), unas 14× más lento para el tráfico entre tarjetas.
Para la inferencia de modelos que caben en 96 GB en una sola tarjeta, esa diferencia es invisible: no hay tráfico entre tarjetas. Para la inferencia de modelos que hay que repartir entre 4× u 8× tarjetas, la H100 con NVLink gana entre un 30 % y un 50 % en rendimiento agregado, porque el paralelismo tensorial es sensible a la interconexión. Para entrenar con 8 tarjetas, la H100 gana con claridad.
La diferencia de precio es de 3–3.5× por tarjeta y de 8–12× por nodo utilizable (un HGX H100 incluye la placa portadora y los NVSwitch). Para la mayoría de cargas no hiperescalares, esa proporción no sale a cuenta. Y para las cargas en las que sí sale, el cliente no compra a Kentino: compra a Dell, Lenovo o Supermicro directamente, en operaciones de ocho cifras. También lo decimos por teléfono.
Lo que no vamos a decir es que la Pro 6000 Blackwell sea «tan buena como» o «competitiva con» una H100. No lo es, en las métricas para las que se diseñó la H100. Sí es, en cambio, la tarjeta adecuada para los casos de uso en los que 96 GB ECC a 1.79 TB/s resuelven el problema real del cliente, que son la mayoría.
Árbol de decisión
Inicio: ¿cuál es la carga de trabajo?
-
¿Solo inferencia?
-
¿Interactiva de flujo único (chat, agente, voz)?
- ¿El modelo cabe en 32 GB (7B–32B INT4)?
- Presupuesto ajustado: 4× RTX 5090
- ECC obligatoria (cumplimiento): 4× L40
- Oficina con potencia limitada: 4× Pro 6000 BW Max-Q
- ¿El modelo necesita 32–80 GB (70B INT4, VLM 72B)?
- Quiere la sencillez de una sola tarjeta: 1–2× Pro 6000 BW Server
- Prioridad al rendimiento/€, acepta TP de 2 vías: 4× RTX 5090
- Potencia limitada: 2× Pro 6000 BW Max-Q
- Modelo de más de 80 GB (405B INT4, alojamiento multimodelo):
- 4× u 8× Pro 6000 BW Server en chasis de 8 GPU
- Plantéese con honestidad si la nube es la opción correcta
- ¿El modelo cabe en 32 GB (7B–32B INT4)?
-
¿Por lotes masivos (autoetiquetado, procesamiento documental)?
- Modelo pequeño (7B–13B): 8× L4 en 2U (edge) o 4× 5090 (rack)
- Modelo grande (70B+): 4× Pro 6000 BW Server u 8× 5090
-
¿Edge / 1U / potencia limitada?
- 1–8× L4
-
¿Interactiva de flujo único (chat, agente, voz)?
-
¿Entrenamiento o ajuste fino?
- LoRA / QLoRA / ajuste fino (la mayoría de los clientes):
- 7B–13B: 4× RTX 5090 (la ECC no es crítica)
- 32B–70B: 4× Pro 6000 BW Server (ECC + capacidad)
- Ejecuciones largas desatendidas: elija siempre componentes con ECC
- Entrenamiento de parámetros completos de 70B+: no es viable aquí — recomendamos nube o clase DGX
- Ajuste fino de difusión / VLM: Pro 6000 BW por el tamaño de lote, 5090 por rendimiento/€ en lotes pequeños
- LoRA / QLoRA / ajuste fino (la mayoría de los clientes):
-
¿Mixto (entrenamiento + inferencia, laboratorio de investigación)?
- 4 GPU: 4× Pro 6000 BW Server (Max-Q si hay límite de potencia)
- 8 GPU: 8× Pro 6000 BW Server en chasis EPYC dual
- Mezcla: 4× 5090 para inferencia + 1× Pro 6000 BW para entrenamiento en el mismo chasis es viable, aunque poco elegante
La rama que desemboca en «4× RTX 5090» es el equipo que más enviamos, con diferencia. La que desemboca en «4× Pro 6000 BW Server» es la segunda. La rama de la L4 y la de la Max-Q tienen menos volumen, pero ninguna es un nicho: cada trimestre enviamos pedidos de varias unidades a despliegues de oficina donde unas tarjetas de 600 W no sobrevivirían a la instalación eléctrica del edificio.
Lo que no tenemos en catálogo
Dicho sin rodeos: Kentino no vende hardware H100 SXM, H200 SXM, A100 SXM, B200 ni de clase GB200 NVL. El formato SXM5 y el ecosistema de placas portadoras HGX/NVL viven en un nivel de cadena de suministro en el que no estamos. Las variantes PCIe de la H100 existieron brevemente y han desaparecido prácticamente del canal. Si su carga de trabajo exige realmente 8× H100 con NVLink, sus opciones honestas en mayo de 2026 son: alquilar a un hiperescalar o a una nube especializada, comprar directamente a Dell / Lenovo / Supermicro con un plazo de 12–20 semanas, o trabajar con un integrador de ese nivel.
Tampoco tenemos AMD Instinct MI300X ni MI325X: sobre el papel son potentes para inferencia limitada por memoria (192 GB HBM3, 5.3 TB/s en la MI300X), pero la madurez del software ROCm y la disponibilidad de canal en Chequia no están donde hoy se encuentra nuestra base de clientes.
Dónde aterriza el análisis para los perfiles de comprador habituales
- Laboratorio de investigación, primer servidor de inferencia: 4× RTX 5090 sobre EPYC Turin con 192 GB de RAM, doble fuente de alimentación ATX y chasis de rack 4U. Ejecuta cualquier modelo hasta 70B INT4 con TP, con margen para ajuste fino.
- Startup que sirve inferencia en producción: 4× Pro 6000 BW Server en 4U con host EPYC Genoa/Turin, 384–512 GB de RAM y fuente CRPS con redundancia 1+1. ECC, sin salida de vídeo y margen para 70B+ en una sola tarjeta.
- Laboratorio de robótica + cómputo local: 4× Pro 6000 BW Server. Los 96 GB le permiten alojar a la vez Qwen2.5-VL 72B y un LLM, y la ECC importa porque la salida de la inferencia gobierna hardware físico.
- Compras corporativas por cumplimiento normativo: 4× u 8× L40 en un chasis Supermicro. Peor rendimiento/€, pero cada línea del presupuesto pasa la auditoría.
- Oficina delegada, retail, edge: 4× u 8× L4 en 1U/2U. Potencia de oficina, sin climatización especial.
- Ampliación de una flota 4090 existente: más 4090 si el presupuesto aprieta y consigue encontrarlas; si no, 5090 mezcladas (vLLM gestiona de forma aceptable el TP entre generaciones distintas; no mezcle 4090 con Pro 6000, porque la disparidad de ancho de banda arruina el conjunto, que siempre va al ritmo de la tarjeta más lenta).
Qué hacer a continuación
Antes de especificar las GPU, responda a estas cinco preguntas:
- Enumere todos los modelos que necesita alojar a la vez. Sume sus huellas en INT4. Añada un 40–60 % para la caché KV con el lote y el contexto objetivo. Esa es su VRAM mínima, total y por tarjeta.
- Defina el objetivo de latencia. Menos de 30 tok/s de flujo único significa que le vale casi cualquier cosa. Más de 60 tok/s de flujo único le deja solo con la 5090 o la Pro 6000 BW. El rendimiento masivo por día es otra métrica y cambia la respuesta.
- Defina el envolvente de potencia en la toma. Monofásico de 16 A significa un máximo de 4 GPU de consumo. Trifásico o 32 A pone 8 GPU sobre la mesa. Un circuito de oficina de 10 A significa solo L4 o Max-Q.
- Defina la restricción de compras. «Solo compramos SKU empresariales» → L40 o Pro 6000 BW Server. «Compramos lo que esté disponible» → 5090. Sea honesto consigo mismo: esta es la restricción que más proyectos descarrila en la recta final.
- Defina el ciclo de trabajo y la vida útil. Funcionar 24/7 durante tres años amortiza la ECC y las fuentes Platinum. Una máquina de banco para desarrollo, no.
Si no puede responder a las cinco, ninguna elección de GPU le parecerá acertada a toro pasado. Si puede, la respuesta correcta sale de la tabla anterior en una sola llamada. Consulte W05 para térmica y flujo de aire, W06 para niveles de almacenamiento y W01 para las reglas de dimensionado de RAM frente a VRAM que sustentan la elección de GPU.
Esto forma parte de la Kentino Wiki, una serie de referencia sobre computación de IA, robótica y los sistemas que las conectan. Comentarios y correcciones son bienvenidos en info@kentino.com.