Il miglior modello che il tuo hardware può far girare

Memoria = pesi (parametri × byte per peso alla precisione scelta) + cache del contesto (calcolata dall'architettura reale di ogni modello su Hugging Face: livelli, teste di attenzione, finestre scorrevoli) + circa 0.6 GB per scheda per il runtime. I modelli di immagini e video ricevono 3 GB in più per encoder e decoder di testo.

Velocità: scrivere un token legge una volta i pesi attivi e la cache, quindi token al secondo ≈ banda di memoria × 78% ÷ dati letti, più un costo fisso per ogni token (circa 1 ms; 2.8 ms per i modelli mixture-of-experts, che scelgono anche i loro esperti; di più su Apple). I modelli mixture-of-experts leggono solo i loro esperti attivi. Con più schede (llama.cpp e Ollama dividono i livelli tra loro) la velocità resta vicina a quella di una scheda; con i pesi nella RAM di sistema, la parte in RAM è molto più lenta. La formula è calibrata su 44 test reali con llama.cpp (elenco con le fonti): errore tipico di circa ±10%, in qualche caso fino a ±40%.

Apple, AMD Ryzen AI Max e DGX Spark condividono la memoria con il sistema: ne contiamo il 75%.