FreeLLMQuanta memoria GPU serve per usare un modello AI a casa?
Una spiegazione semplice di dimensione del modello, file a 4 bit, memoria del contesto e velocità, con i numeri che usa il nostro simulatore.
Tre cose decidono se un modello gira sul tuo computer: la dimensione dei pesi, la memoria che serve al suo contesto e la velocità della memoria dell'acceleratore, cioè la tua scheda video.
1. I pesi
Un modello è un lungo elenco di numeri, i suoi parametri. Salvato a piena precisione, ognuno occupa 2 byte. Quasi tutti a casa usano invece un file compresso a 4 bit (il formato più comune si chiama Q4_K_M), che occupa circa 0.6 byte per parametro con poca perdita di qualità.
Quindi, a grandi linee:
| Dimensione del modello | File a 4 bit | File a 8 bit |
|---|---|---|
| 4 B | 2.4 GB | 4.3 GB |
| 9 B | 5.5 GB | 9.6 GB |
| 14 B | 8.5 GB | 15 GB |
| 31 B | 19 GB | 33 GB |
| 120 B | 73 GB | 128 GB |
2. Il contesto
Mentre scrive, un modello tiene in memoria la conversazione, chiamata cache KV. Cresce a ogni token della conversazione e dipende da come è costruito il modello: i modelli più nuovi condividono o comprimono questa memoria, quelli più vecchi no. A 32,000 token può stare sotto 1 GB oppure superare 10 GB.
Per calcolarla leggiamo l'architettura reale di ogni modello dal suo file di configurazione su Hugging Face, invece di tirare a indovinare.
3. La velocità
Per scrivere un token, la scheda legge una volta tutti i pesi attivi. Quindi la velocità dipende soprattutto dalla banda di memoria divisa per la dimensione di quello che legge. Una RTX 4090 legge circa 1,000 GB/s; un modello da 19 GB dà circa 35–40 token al secondo, più veloce di quanto chiunque legga.
I modelli mixture-of-experts leggono solo una parte dei pesi per token, quindi sono molto più veloci di quanto farebbe pensare la loro dimensione.
Più schede, o RAM di sistema
Con due o più schede, strumenti come llama.cpp e Ollama dividono i livelli tra loro. Hai la memoria di tutte le schede insieme, ma la velocità resta vicina a quella di una sola scheda.
Se un modello non ci sta, una parte può stare nella RAM di sistema. Funziona, ma la RAM è da 10 a 20 volte più lenta della memoria GPU, quindi la velocità cala di molto.
Provalo
Il simulatore «Usalo a casa» fa tutto questo per la tua scheda esatta, il numero di schede e la RAM, e mostra il modello più votato che ci sta. Ci sono anche 68 modelli piccoli per schede da 4–12 GB che Arena non ha ancora votato; li segniamo in modo chiaro.
Cosa può far girare la tua GPU?
Scegli la tua scheda e guarda quanta memoria serve a ogni modello, se ci sta e la velocità stimata.