Le GPU per l'AI in locale, a confronto

A 4 bit, un modello ha bisogno di circa 0.6 GB per miliardo di parametri, più la cache del contesto e circa 1 GB per il runtime. Un modello da 8 B sta in 8 GB, uno da 27–32 B richiede circa 20–24 GB, uno da 70 B richiede circa 45 GB (due schede da 24 GB). La colonna «Modello più grande» fa questo calcolo per ogni scheda con contesto da 8K.

Quando un modello scrive, ogni nuova parola legge una volta tutti i pesi attivi dalla memoria. Quindi la velocità è circa la banda divisa per la dimensione dei pesi attivi. Per questo una RTX 3090 (936 GB/s) scrive ancora più veloce di molte schede di fascia media più recenti.

Per gli LLM in locale spesso è il miglior rapporto qualità-prezzo: 24 GB e banda alta. Consuma molto (350 W) e, se la compri usata, non ha garanzia. Confronta il prezzo con una scheda nuova da 16 GB: 16 GB non bastano per modelli da 27–32 B a 4 bit con un contesto utile.

NVIDIA ha il supporto software più ampio (CUDA). Le schede AMD funzionano bene con llama.cpp, Ollama e LM Studio (ROCm o Vulkan) e spesso danno più memoria per lo stesso prezzo. I computer Apple Silicon e AMD Ryzen AI Max condividono la memoria tra CPU e GPU, quindi possono caricare modelli molto grandi, ma scrivono più lentamente di una grande GPU desktop.

Due schede sommano la loro memoria, quindi un modello da 70 B sta su due schede da 24 GB. La velocità non raddoppia: le schede si alternano, quindi ottieni circa la velocità di una scheda, un po' meno. Scegli «2 schede» qui sopra per vedere i numeri.

Sono stime: banda di memoria × 78% ÷ dati letti per parola, più un costo fisso per parola (circa 1 ms, 2.8 ms per i modelli mixture-of-experts, di più su Apple), a 4 bit (Q4_K_M) con contesto da 8K. Abbiamo controllato la formula su 44 test reali con llama.cpp: l'errore mediano è 9%, e 42 su 44 sono entro ±30%. I numeri reali dipendono anche dalla versione del software, dai driver (su AMD, Vulkan è spesso più veloce di ROCm) e dalle impostazioni. Usali per confrontare le schede, non come cifre esatte.