GPU para IA local, comparadas

A 4 bits, un modelo necesita unos 0.6 GB por cada mil millones de parámetros, más la caché de contexto y unos 1 GB para el entorno de ejecución. Un modelo de 8 B cabe en 8 GB, uno de 27–32 B necesita unos 20–24 GB y uno de 70 B necesita unos 45 GB (dos tarjetas de 24 GB). La columna «Modelo más grande» hace esta cuenta para cada tarjeta con un contexto de 8K.

Cuando un modelo escribe, cada palabra nueva lee una vez todos los pesos activos de la memoria. Así que la velocidad es aproximadamente el ancho de banda dividido por el tamaño de los pesos activos. Por eso una RTX 3090 (936 GB/s) todavía escribe más rápido que muchas tarjetas de gama media más nuevas.

Para LLM locales suele ser la mejor relación calidad-precio: 24 GB y mucho ancho de banda. Consume mucha energía (350 W) y, comprada de segunda mano, no tiene garantía. Compara el precio con una tarjeta nueva de 16 GB: 16 GB no bastan para modelos de 27–32 B a 4 bits con un contexto útil.

NVIDIA tiene el soporte de software más amplio (CUDA). Las tarjetas AMD funcionan bien con llama.cpp, Ollama y LM Studio (ROCm o Vulkan) y a menudo dan más memoria por el dinero. Los equipos con Apple Silicon y AMD Ryzen AI Max comparten la memoria entre la CPU y la GPU, así que pueden cargar modelos muy grandes, pero escriben más despacio que una GPU de escritorio potente.

Dos tarjetas suman su memoria, así que un modelo de 70 B cabe en dos tarjetas de 24 GB. La velocidad no se duplica: las tarjetas se turnan, así que obtienes más o menos la velocidad de una sola, algo menos. Elige «2 tarjetas» arriba para ver los números.

Son estimaciones: ancho de banda de memoria × 78 % ÷ datos leídos por palabra, más un coste fijo por palabra (unos 1 ms, 2.8 ms en los modelos de mezcla de expertos, más en Apple), a 4 bits (Q4_K_M) con un contexto de 8K. Hemos comprobado la fórmula con 44 pruebas reales de llama.cpp: el error mediano es del 9 % y 42 de 44 están dentro de ±30 %. Las cifras reales también dependen de la versión del software, los controladores (en AMD, Vulkan suele ser más rápido que ROCm) y los ajustes. Úsalas para comparar tarjetas, no como cifras exactas.