Le meilleur modèle que votre matériel peut faire tourner

Mémoire = poids (paramètres × octets par poids selon la précision choisie) + cache de contexte (calculé d'après l'architecture réelle de chaque modèle sur Hugging Face : couches, têtes d'attention, fenêtres glissantes) + environ 0.6 GB par carte pour le runtime. Les modèles d'image et de vidéo reçoivent 3 GB de plus pour les encodeurs de texte et les décodeurs.

Vitesse : écrire un token lit une fois les poids actifs et le cache, donc tokens par seconde ≈ bande passante mémoire × 78 % ÷ données lues, plus un coût fixe pour chaque token (environ 1 ms ; 2.8 ms pour les modèles à mélange d'experts, qui choisissent aussi leurs experts ; plus sur Apple). Les modèles à mélange d'experts ne lisent que leurs experts actifs. Avec plusieurs cartes (llama.cpp et Ollama répartissent les couches entre elles), la vitesse reste proche de celle d'une seule carte ; avec des poids en RAM système, la partie en RAM est bien plus lente. La formule est calibrée sur 44 tests llama.cpp réels (liste avec sources) : erreur typique d'environ ±10 %, quelques cas jusqu'à ±40 %.

Apple, AMD Ryzen AI Max et DGX Spark partagent la mémoire avec le système : nous en comptons 75 %.