FreeLLM¿Cuánta memoria de GPU necesitas para ejecutar un modelo de IA en casa?
Una explicación sencilla del tamaño del modelo, los archivos de 4 bits, la memoria de contexto y la velocidad, con los números que usa nuestro simulador.
Tres cosas deciden si un modelo funciona en tu ordenador: el tamaño de sus pesos, la memoria que necesita su contexto y la velocidad de la memoria de tu tarjeta gráfica.
1. Los pesos
Un modelo es una larga lista de números: sus parámetros. Guardado con precisión completa, cada uno ocupa 2 bytes. Casi todo el mundo usa en casa un archivo comprimido de 4 bits (el formato habitual se llama Q4_K_M), que ocupa unos 0.6 bytes por parámetro con poca pérdida de calidad.
Así que, más o menos:
| Tamaño del modelo | Archivo a 4 bits | Archivo a 8 bits |
|---|---|---|
| 4 B | 2.4 GB | 4.3 GB |
| 9 B | 5.5 GB | 9.6 GB |
| 14 B | 8.5 GB | 15 GB |
| 31 B | 19 GB | 33 GB |
| 120 B | 73 GB | 128 GB |
2. El contexto
Mientras escribe, un modelo guarda una memoria de la conversación, llamada caché KV. Crece con cada token de la conversación y depende de cómo esté construido el modelo: los modelos nuevos comparten o comprimen esta memoria, los antiguos no. Con 32,000 tokens puede ocupar menos de 1 GB o más de 10 GB.
Para calcularlo, leemos la arquitectura real de cada modelo en su archivo de configuración de Hugging Face, en lugar de adivinar.
3. La velocidad
Para escribir un token, la tarjeta lee una vez todos los pesos activos. Así que la velocidad es sobre todo el ancho de banda de memoria dividido por el tamaño de lo que lee. Una RTX 4090 lee unos 1,000 GB/s; un modelo de 19 GB da más o menos entre 35 y 40 tokens por segundo, más rápido de lo que nadie lee.
Los modelos de mezcla de expertos leen solo una parte de sus pesos por token, así que son mucho más rápidos de lo que sugiere su tamaño.
Varias tarjetas o RAM del sistema
Con dos o más tarjetas, herramientas como llama.cpp y Ollama reparten las capas entre ellas. Obtienes la memoria de todas las tarjetas juntas, pero la velocidad se queda cerca de la de una sola.
Si un modelo no cabe, una parte puede quedarse en la RAM del sistema. Funciona, pero la RAM es de 10 a 20 veces más lenta que la memoria de la GPU, así que la velocidad cae en picado.
Pruébalo
El simulador Ejecútalo en casa hace todo esto para tu tarjeta exacta, tu número de tarjetas y tu RAM, y te muestra el modelo mejor votado que cabe. También hay 68 modelos pequeños para tarjetas de 4 a 12 GB que Arena aún no ha votado; los marcamos claramente.
¿Qué puede ejecutar tu GPU?
Elige tu tarjeta y mira cuánta memoria necesita cada modelo, si cabe y la velocidad estimada.