Monte su propio sistema de IA: la guía completa de 2026 sobre hardware GPU de consumo para LLM locales

Un análisis a fondo de las limitaciones de VRAM, la agrupación multi-GPU, las restricciones de PCIe y el rendimiento en coma flotante

Por el equipo técnico de Kentino.com | Enero de 2026

Introducción: ¿por qué montar su propio sistema de IA?

La revolución de la IA ya no ocurre solo en los centros de datos. Con modelos de código abierto como DeepSeek R1, Qwen 3, Llama 4 y Gemma alcanzando capacidades sin precedentes, ejecutar IA potente en local no solo es posible: es práctico.

Pero hay una pega que nadie le cuenta: La VRAM manda, y todo lo demás es un compromiso.

Esta guía le llevará de comprador de GPU desorientado a arquitecto de sistemas de IA bien informado. Cubriremos desde configuraciones de una sola GPU con modelos de 8B parámetros hasta configuraciones multi-GPU capaces de mover auténticos monstruos de más de 70B parámetros. Tanto si está montando un asistente de programación como una estación de trabajo de investigación o un servidor de IA privado, aquí encontrará lo que necesita.

Parte 1: entender la VRAM — la moneda de la IA

Por qué la VRAM importa más que ninguna otra cosa

Al ejecutar grandes modelos de lenguaje (LLM), la VRAM (Video Random Access Memory) de su GPU es la especificación más crítica. A diferencia de los videojuegos, donde la VRAM almacena sobre todo texturas y búferes de imagen, las cargas de trabajo de IA necesitan VRAM para:

1. Pesos del modelo: los miles de millones de parámetros que definen el conocimiento de la IA
2. Caché KV: memoria que crece con la longitud de la conversación (ventana de contexto)
3. Memoria de activación: cálculos temporales durante la inferencia
4. Sobrecarga del sistema: kernels CUDA, gestión de memoria, búferes de ejecución

La fórmula de oro:

VRAM necesaria (GB) = (parámetros en miles de millones × precisión en bytes) × 1.2

Ejemplos:
- modelo 8B @ FP16 (2 bytes):   8 × 2 × 1.2 = ~19.2 GB
- modelo 8B @ Q4 (0.5 bytes):   8 × 0.5 × 1.2 = ~4.8 GB
- modelo 70B @ FP16 (2 bytes):  70 × 2 × 1.2 = ~168 GB
- modelo 70B @ Q4 (0.5 bytes):  70 × 0.5 × 1.2 = ~42 GB

La revolución de la cuantización

La cuantización es la técnica que hace posible ejecutar modelos grandes en hardware de consumo. Al reducir la precisión de los pesos del modelo de 16 bits (FP16) a 4 bits (Q4), puede ejecutar modelos que de otro modo exigirían hardware empresarial.

El punto óptimo: la cuantización Q4_K_M ofrece un 75% de ahorro de memoria con solo un ~5% de pérdida de calidad, lo que la convierte en el estándar de oro para despliegues de consumo en 2026.

Parte 2: el panorama de las GPU en 2026

Serie NVIDIA RTX 50 — el nuevo estándar

La arquitectura Blackwell de NVIDIA aporta mejoras significativas para las cargas de trabajo de IA:

RTX 5090 — la bestia insignia

Lo que le ofrecen 32GB de VRAM:

• Qwen3-32B @ Q4_K_M — con holgura
• DeepSeek R1 32B @ Q4_K_M — con margen para el contexto
• Llama 4 8B @ FP16 — a precisión completa
• modelos de 70B @ Q4_K_M — con límites de contexto agresivos

La mejora del 78% en ancho de banda de la RTX 5090 frente a la 4090 se traduce en una generación de tokens más rápida, algo especialmente crítico en modelos grandes, donde el ancho de banda de memoria se convierte en el cuello de botella.

RTX 5080 — la opción práctica

Lo que le ofrecen 16GB de VRAM:

• Qwen3-14B @ Q4_K_M — gran rendimiento
• DeepSeek R1 14B @ Q4_K_M — excelente para programar
• Llama 4 8B @ Q8_0 — alta calidad
• modelos de 32B con cuantización agresiva — posible, pero justo

RTX 5070 Ti — el caballo de batalla económico para IA

La RTX 5070 Ti ofrece los mismos 16GB de VRAM que la 5080 por un 25% menos, lo que la convierte probablemente en la mejor relación calidad-precio para trabajo de IA dedicado cuando la velocidad bruta de tokens no es crítica.

RTX 5070 — puerta de entrada

El problema de los 12GB: aunque el precio de la RTX 5070 resulta atractivo, sus 12GB de VRAM imponen limitaciones importantes. Se topará con el muro en modelos de 14B o superiores y con ventanas de contexto largas. Considere los 4GB adicionales de la 5070 Ti como un seguro imprescindible.

La generación anterior sigue siendo válida

RTX 4090 — sigue en la pelea

La RTX 4090, con 24GB de VRAM, sigue siendo excelente para IA. Si encuentra una a buen precio, es capaz de mover:

• modelos de 14B con cuantización alta
• modelos de 32B en Q4_K_M (justo)
• varios modelos de 8B simultáneamente

RTX 3090 / 3090 Ti — los reyes del presupuesto ajustado

Con 24GB de VRAM (los mismos que la 4090), estas tarjetas más antiguas ofrecen un valor increíble para IA:

• ancho de banda más lento (936 GB/s)
• núcleos Tensor más antiguos (3.ª gen.)
• pero la misma capacidad de 24GB

Si lo que importa es la VRAM pura más que la velocidad (por ejemplo, para procesamiento por lotes o desarrollo), una 3090 de segunda mano por $700-900 supera a una 5070 nueva de $549 en cargas de trabajo de IA.

Parte 3: entender las limitaciones de PCIe

La realidad del ancho de banda PCIe

PCIe (Peripheral Component Interconnect Express) es la autopista entre su GPU y el resto del sistema. Esto es lo que necesita saber:

Cuándo importa PCIe (y cuándo no)

PCIe importa para:

• la carga inicial del modelo (minutos de ahorro en modelos grandes)
• la comunicación multi-GPU (crítica para el paralelismo de tensores)
• la inferencia mixta CPU/GPU (cuando el modelo desborda a la RAM)

PCIe importa poco para:

• la inferencia con una sola GPU una vez cargado el modelo
• la inferencia con modelos pequeños
• las sesiones de larga duración, donde el tiempo de carga es insignificante

Recomendaciones prácticas:

• una sola GPU: PCIe 4.0 x8 suele bastar
• dos GPU: se recomienda PCIe 4.0 x16/x16 o x8/x8
• cuatro GPU: se recomienda PCIe 5.0 o plataformas empresariales

Límites de líneas de CPU por plataforma

El cuello de botella de las plataformas de consumo: la mayoría de las CPU de consumo (Intel Core, AMD Ryzen) solo ofrecen entre 16 y 24 líneas PCIe desde la CPU. Esto significa que:

• la primera GPU recibe x16 completos
• añadir una segunda GPU suele forzar a ambas a x8/x8
• la tercera y la cuarta GPU pueden quedarse en x4

Para trabajo serio de IA con varias GPU, valore plataformas Threadripper PRO o HEDT.

Parte 4: configuraciones multi-GPU — agrupar la VRAM

El sueño frente a la realidad

El sueño: combinar 4× RTX 5090 para obtener 128GB de VRAM unificada y ejecutar los modelos más grandes como si estuvieran en una H100.

La realidad: es complicado, pero cada vez más factible.

Cómo funciona el multi-GPU con los LLM

Hay dos enfoques principales:

Paralelismo de tensores (TP)

Divide operaciones individuales (como las multiplicaciones de matrices) entre varias GPU. Exige una comunicación de alto ancho de banda entre ellas.

Ideal para: inferencia de alto rendimiento y aplicaciones sensibles a la latencia Requisitos: preferiblemente NVLink; como mínimo PCIe 4.0 x8 por GPU Compatible con: vLLM, TensorRT-LLM, DeepSpeed

Paralelismo por canalización (PP)

Divide el modelo en etapas secuenciales, de modo que cada GPU se encarga de capas distintas.

Ideal para: encajar modelos grandes y procesamiento por lotes Requisitos: ancho de banda moderado entre GPU Compatible con: llama.cpp, Ollama y la mayoría de frameworks

NVLink frente a PCIe — la cruda verdad

NVLink ofrece comunicación directa entre GPU a ~900 GB/s (en NVLink 4.0). Permite una agrupación de memoria real, en la que las GPU acceden directamente a la VRAM de las demás.

El problema: las tarjetas RTX de consumo ya no admiten NVLink. Las últimas GPU de consumo compatibles con NVLink fueron las RTX 3090/3090 Ti (NVLink 3.0 a 112.5 GB/s bidireccionales).

Sin NVLink, la comunicación multi-GPU pasa por PCIe:

• mucho más lenta (~32-64 GB/s frente a 900 GB/s)
• mayor latencia
• no permite agrupar la VRAM de forma directa

Impacto práctico:

Cómo hacer funcionar el multi-GPU sin NVLink

Pese a las limitaciones, las configuraciones multi-GPU en hardware de consumo son cada vez más prácticas:

Software recomendado:

• llama.cpp: excelente soporte multi-GPU, reparte las capas entre las tarjetas
• Ollama: configuración sencilla, distribución automática de capas
• vLLM: servicio de alto rendimiento, compatible con paralelismo de tensores
• exllama2: optimizado para inferencia multi-GPU

Consejos de configuración:

1. Asegúrese de que ambas GPU estén en el mismo nodo NUMA (compruébelo con nvidia-smi topo -m)
2. Use como mínimo PCIe x8/x8 con dos GPU
3. Defina CUDA_VISIBLE_DEVICES correctamente
4. Utilice modelos de GPU iguales siempre que pueda (mezclar generaciones funciona, pero puede resultar ineficiente)

Ejemplos de configuración multi-GPU

Dos RTX 5090 (64GB en total)

Modelos compatibles:
- Qwen3-70B @ Q4_K_M (necesita ~42GB) ✓
- DeepSeek R1 70B @ Q4_K_M ✓
- Llama 4 70B @ Q4_K_M ✓
- cualquier modelo de 32B @ FP16 ✓

Rendimiento: ~40-50 tokens/s en modelos de 70B
Coste: ~$4,000 (solo GPU)
Consumo: 1,150W de pico (solo GPU)

Cuatro RTX 5090 (128GB en total)

Modelos compatibles:
- Qwen3-235B-A22B (MoE, ~22B activos) ✓
- cualquier modelo de 70B @ Q8_0 ✓
- modelos densos de 120B+ @ Q4_K_M ✓

Rendimiento: variable, depende mucho de la topología PCIe
Coste: ~$8,000 (solo GPU)
Consumo: 2,300W de pico (solo GPU)
Requiere: plataforma HEDT/servidor (Threadripper, Xeon)

Equipo económico: dos RTX 3090 de segunda mano (48GB en total)

Modelos compatibles:
- Qwen3-32B @ Q4_K_M ✓
- DeepSeek R1 32B @ Q4_K_M ✓
- modelos de 70B con cuantización Q3 agresiva (al límite)

Rendimiento: ~20-30 tokens/s en modelos de 32B
Coste: ~$1,400-1,800 (GPU de segunda mano)
Ventaja: ¡compatible con NVLink!

Parte 5: análisis a fondo del rendimiento en coma flotante

Los formatos de precisión, explicados

La IA moderna emplea diversos formatos de precisión numérica:

La ventaja de FP4 y FP8 en Blackwell

La serie RTX 50 incorpora soporte nativo de FP4 en los núcleos Tensor:

Lo que esto significa:

• la inferencia en FP8 y FP4 es muchísimo más rápida en la serie RTX 50
• los modelos optimizados para FP8 ganan muchísima velocidad
• la generación de los núcleos Tensor importa tanto como los núcleos CUDA

Ancho de banda de memoria — el otro cuello de botella

En los modelos grandes, el ancho de banda de memoria suele importar más que la potencia de cálculo:

Los tokens por segundo están limitados por:

Máx. tokens/s = ancho de banda de memoria (GB/s) / bytes por parámetro

RTX 5090 con un modelo de 70B Q4_K_M:
1,792 GB/s / 35 GB = ~51 tokens/s de máximo teórico

RTX 4090 con el mismo modelo:
1,008 GB/s / 35 GB = ~29 tokens/s de máximo teórico

La mejora del 78% en ancho de banda de la RTX 5090 se traduce directamente en una generación más rápida con modelos grandes.

Parte 6: el panorama de los modelos de código abierto — qué ejecutar

Nivel 1: modelos insignia (se recomiendan 32GB+ de VRAM)

Qwen3-235B-A22B (MoE)

• Parámetros activos: 22B (235B en total)
• VRAM @ Q4: ~28GB
• Contexto: 32K nativo, 131K con YaRN
• Puntos fuertes: matemáticas, programación, multilingüe (119 idiomas)
• Ideal para: uso general, programación e investigación

DeepSeek R1 70B

• Parámetros: 70B
• VRAM @ Q4: ~42GB
• Contexto: 128K
• Puntos fuertes: razonamiento, cadena de pensamiento, programación
• Ideal para: resolución de problemas complejos e investigación

Llama 4 70B

• Parámetros: 70B
• VRAM @ Q4: ~42GB
• Contexto: 128K
• Puntos fuertes: capacidades generales, seguimiento de instrucciones
• Ideal para: aplicaciones versátiles

Nivel 2: modelos profesionales (16-24GB de VRAM)

Qwen3-32B

• Parámetros: 32B
• VRAM @ Q4: ~19GB
• Contexto: 128K
• Puntos fuertes: programación (a la altura de GPT-4o) y razonamiento
• Ideal para: una sola RTX 5090/4090, desarrollo

DeepSeek R1 Distill 32B

• Parámetros: 32B
• VRAM @ Q4: ~19GB
• Puntos fuertes: razonamiento destilado de un modelo mayor
• Ideal para: razonamiento rentable

Gemma 3 27B

• Parámetros: 27B
• VRAM @ Q4: ~16GB
• Contexto: 128K
• Puntos fuertes: eficiente, calidad Google, multimodal
• Ideal para: equipos con RTX 5080/5070 Ti

Nivel 3: modelos de consumo (8-16GB de VRAM)

Qwen3-14B

• Parámetros: 14B
• VRAM @ Q4: ~8.4GB
• Contexto: 128K
• Puntos fuertes: excelente equilibrio entre tamaño y capacidad
• Ideal para: RTX 5070 Ti, 4070 Ti, uso general

Qwen3-8B

• Parámetros: 8B
• VRAM @ Q4: ~4.8GB
• Contexto: 32K nativo, 131K ampliado
• Puntos fuertes: rápido, capaz, cabe en cualquier sitio
• Ideal para: equipos de gama de entrada, aplicaciones en tiempo real

DeepSeek R1 Distill 14B (base Qwen)

• Parámetros: 14B
• VRAM @ Q4: ~8.4GB
• Puntos fuertes: razonamiento sólido gracias a la destilación
• Ideal para: asistentes de programación, resolución de problemas

Llama 4 8B

• Parámetros: 8B
• VRAM @ Q4: ~4.8GB
• Puntos fuertes: rápido y equilibrado
• Ideal para: tareas cotidianas, aplicaciones de chat

Nivel 4: edge/embebido (4-8GB de VRAM)

Qwen3-4B

• Parámetros: 4B
• VRAM @ Q4: ~2.4GB
• Puntos fuertes: rinde a la altura de Qwen2.5-7B
• Ideal para: portátiles, gráficos integrados, dispositivos edge

Phi-4 (Microsoft)

• Parámetros: 14B
• VRAM @ Q4: ~8.4GB
• Puntos fuertes: excepcional para su tamaño, enfoque STEM
• Ideal para: aplicaciones educativas y técnicas

Qwen3-0.6B

• Parámetros: 0.6B
• VRAM @ Q4: <1GB
• Puntos fuertes: funciona en cualquier sitio
• Ideal para: IoT, móvil, entornos de recursos ultrabajos

Diagrama de selección de modelo

¿Cuál es su capacidad principal de VRAM?

├─ 32GB+ (RTX 5090, dos 3090)
│   └─ Qwen3-235B-A22B o DeepSeek R1 70B @ Q4
│
├─ 24GB (RTX 4090, 3090)
│   └─ Qwen3-32B @ Q4 o DeepSeek R1 32B @ Q4
│
├─ 16GB (RTX 5080, 5070 Ti, 4080)
│   └─ Qwen3-14B @ Q4 o Gemma 3 27B @ Q4
│
├─ 12GB (RTX 5070, 4070 Ti)
│   └─ Qwen3-8B @ Q4 o Llama 4 8B @ Q4
│
└─ 8GB (RTX 4070, 3070)
    └─ Qwen3-4B @ Q4 o Phi-4 con cuantización agresiva

Parte 7: recomendaciones de equipos completos

Equipo 1: la puerta de entrada ($1,200-1,500)

Caso de uso: asistente personal de IA, ayuda con la programación, experimentación

Puede ejecutar:

• Qwen3-14B @ Q4 (~8.4GB) — excelente
• DeepSeek R1 14B @ Q4 — excelente
• Qwen3-32B @ Q3 (agresiva) — posible, pero justo
• varios modelos de 8B simultáneamente

Rendimiento estimado: 35-50 tokens/s con modelos de 14B

Equipo 2: el punto óptimo para prosumidores ($3,500-4,500)

Caso de uso: desarrollo profesional, investigación, creación de contenido

Puede ejecutar:

• Qwen3-32B @ Q4 — cómodo, con 13GB de margen
• DeepSeek R1 32B @ Q6 — mayor calidad
• Qwen3-235B-A22B @ Q4 — justo, pero funciona
• cualquier modelo por debajo de 32B con alta calidad

Rendimiento estimado: 50-80 tokens/s con modelos de 32B

Equipo 3: el servidor de IA local ($7,000-10,000)

Caso de uso: servidor de inferencia para equipos, experimentación con modelos, cargas de trabajo en producción

Puede ejecutar:

• DeepSeek R1 70B @ Q4 — rendimiento pleno
• Qwen3-235B-A22B @ Q4 — excelente
• cualquier modelo de menos de 120B parámetros
• varios modelos de 32B para pruebas A/B

Rendimiento estimado: 40-50 tokens/s con modelos de 70B

Equipo 4: el laboratorio económico ($2,000-2,500 de segunda mano)

Caso de uso: aprendizaje, desarrollo, entusiasta con presupuesto ajustado

La ventaja de NVLink: esta es la única configuración de consumo compatible con NVLink, que proporciona una agrupación real de VRAM a 112.5 GB/s frente a los ~32 GB/s de PCIe.

Puede ejecutar:

• Qwen3-32B @ Q8 (mayor calidad) — cómodo
• DeepSeek R1 32B @ FP16 — con una gestión cuidadosa del contexto
• modelos de 70B con Q3 agresivo — posible

Rendimiento estimado: 25-35 tokens/s con modelos de 32B (más rápido de lo esperado gracias a NVLink)

Equipo 5: la potencia portátil (portátil)

Caso de uso: desarrollo de IA en movilidad, inferencia sobre la marcha

Modelos destacados:

• ASUS ROG Strix SCAR 18 (2026)
• Razer Blade 18 (2026)
• MSI Titan GT78 (2026)

Puede ejecutar:

• Qwen3-14B @ Q4 — excelente
• DeepSeek R1 14B @ Q4 — excelente
• Qwen3-32B @ Q4 — justo, pero funciona

Nota: la RTX 5090 Mobile tiene 24GB (no 32GB) y un TDP inferior. Espere en torno al 70% del rendimiento de la versión de escritorio.

Parte 8: recomendaciones de pila de software

Herramientas imprescindibles

Ollama — el botón fácil

# Instalación
curl -fsSL https://ollama.ai/install.sh | sh

# Ejecutar Qwen3 8B
ollama run qwen3:8b

# Ejecutar con una cuantización concreta
ollama run qwen3:14b-q4_K_M

# Multi-GPU (automático)
CUDA_VISIBLE_DEVICES=0,1 ollama run qwen3:32b

Ideal para: empezar, despliegues sencillos, servicio de API

LM Studio — la experiencia con interfaz gráfica

• explorador visual de modelos
• descargas con un clic
• interfaz de chat integrada
• selección de cuantización

Ideal para: usuarios no técnicos, exploración de modelos

llama.cpp — control máximo

# Compilar con CUDA
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release

# Ejecutar en multi-GPU
./llama-server -m qwen3-32b-q4_k_m.gguf \
  -ngl 99 \
  --tensor-split 0.5,0.5 \
  -c 8192

Ideal para: usuarios avanzados, despliegues a medida, máximo rendimiento

vLLM — servicio en producción

# Instalación
pip install vllm

# Servir con paralelismo de tensores
python -m vllm.entrypoints.openai.api_server \
  --model Qwen/Qwen3-32B \
  --tensor-parallel-size 2 \
  --dtype auto

Ideal para: servicio de alto rendimiento, endpoints de API, producción

Fuentes de modelos

Parte 9: consejos de optimización

Optimización de la VRAM

1. Use la cuantización Q4_K_M — el mejor equilibrio entre tamaño y calidad
2. Limite la longitud del contexto — 8K en lugar de 32K ahorra ~40% de VRAM
3. Desactive la caché KV en prompts de una sola pasada
4. Use Flash Attention 2 — reduce la memoria en contextos largos
5. Active la inferencia eficiente en memoria en vLLM

Optimización de la velocidad

1. Maximice el ancho de banda de memoria de la GPU — RAM más rápida = tokens más rápidos
2. Use FP8 cuando esté disponible — 2-3x de aceleración en la serie RTX 50
3. Active la decodificación especulativa — use un modelo pequeño para acelerar uno grande
4. Agrupe las peticiones por lotes — mayor rendimiento al servir
5. Use el batching continuo (vLLM) — gestión dinámica de peticiones

Optimización multi-GPU

1. Use modelos de GPU iguales — evite mezclar generaciones
2. Compruebe la topología NUMA — mismo nodo = menor latencia
3. Use x8 líneas como mínimo — x4 crea cuellos de botella
4. Monitorice con nvidia-smi — vigile el uso desequilibrado
5. Pruebe distintas configuraciones TP/PP — el óptimo varía según el modelo

Parte 10: solución de problemas habituales

"CUDA out of memory"

Causas:

• el modelo es demasiado grande para la VRAM
• la ventana de contexto es demasiado larga
• crecimiento de la caché KV

Soluciones:

1. use una cuantización más agresiva (Q4 → Q3)
2. reduzca la longitud del contexto
3. reduzca el tamaño de lote
4. active flash attention
5. reparta el modelo entre varias GPU

Generación de tokens lenta

Causas:

• limitación del ancho de banda de memoria
• descarga a la CPU activa
• limitación térmica (throttling)

Soluciones:

1. asegúrese de que el modelo cabe por completo en la VRAM
2. compruebe la temperatura de la GPU (objetivo <85°C)
3. use un modelo más pequeño
4. active el modo de rendimiento de la GPU
5. mejore el flujo de aire de la caja

El multi-GPU no escala

Causas:

• cuello de botella en el ancho de banda PCIe
• reparto de capas incorrecto
• problemas de distancia NUMA

Soluciones:

1. consulte nvidia-smi topo -m para ver la topología
2. ajuste las proporciones de reparto de tensores
3. asegure PCIe x8 o superior por GPU
4. valore NVLink (RTX 3090)
5. use paralelismo por canalización en lugar de por tensores

Conclusión: cómo acertar con la elección

Montar un sistema de IA local en 2026 es más accesible que nunca. Este es el resumen:

Recomendaciones rápidas:

Las reglas de oro:

1. VRAM > todo lo demás — más memoria = más opciones de modelo
2. La cuantización es su aliada — Q4_K_M es el punto óptimo
3. El multi-GPU tiene rendimientos decrecientes — sin NVLink, espere ~1.6x con 2 GPU
4. El ancho de banda de memoria importa — sobre todo en los modelos grandes
5. Empiece pequeño y vaya creciendo — pruebe sus cargas de trabajo antes de invertir

El ecosistema de IA de código abierto avanza a toda velocidad. Modelos que hace dos años exigían hardware de $100K ahora funcionan en equipos de $2K. Lo que monte hoy solo será más capaz a medida que los modelos ganen eficiencia.

Bienvenido a la era de la IA personal.

Para recomendaciones de hardware y disponibilidad, visite Kentino.com

Apéndice: tablas de consulta rápida

Requisitos de VRAM por modelo (Q4_K_M)

Comparativa de GPU para IA

Última actualización: enero de 2026 Artículo elaborado por el equipo técnico de Kentino