FreeLLMDe combien de mémoire GPU avez-vous besoin pour faire tourner un modèle d'IA chez vous ?
Une explication simple de la taille des modèles, des fichiers en 4 bits, de la mémoire de contexte et de la vitesse, avec les chiffres utilisés par notre simulateur.
Trois choses déterminent si un modèle tourne sur votre ordinateur : la taille de ses poids, la mémoire dont son contexte a besoin, et la vitesse de la mémoire de la carte graphique de l'ordinateur.
1. Les poids
Un modèle est une longue liste de nombres, ses paramètres. Stocké en pleine précision, chacun occupe 2 octets. Presque tout le monde utilise chez soi un fichier compressé en 4 bits (le format courant s'appelle Q4_K_M), qui occupe environ 0.6 octets par paramètre avec peu de perte de qualité.
En gros :
| Taille du modèle | Fichier 4 bits | Fichier 8 bits |
|---|---|---|
| 4 B | 2.4 GB | 4.3 GB |
| 9 B | 5.5 GB | 9.6 GB |
| 14 B | 8.5 GB | 15 GB |
| 31 B | 19 GB | 33 GB |
| 120 B | 73 GB | 128 GB |
2. Le contexte
Pendant qu'il écrit, un modèle garde en mémoire la conversation, appelée cache KV. Elle grandit à chaque token de la conversation et dépend de la façon dont le modèle est construit : les modèles récents partagent ou compressent cette mémoire, les anciens non. À 32,000 tokens, elle peut représenter moins de 1 GB ou plus de 10 GB.
Pour calculer cela, nous lisons l'architecture réelle de chaque modèle dans son fichier de configuration sur Hugging Face, au lieu de deviner.
3. La vitesse
Pour écrire un token, la carte lit une fois tous les poids actifs. La vitesse correspond donc surtout à la bande passante mémoire divisée par la taille de ce qu'elle lit. Un RTX 4090 lit environ 1,000 GB/s ; un modèle de 19 GB donne à peu près 35 à 40 tokens par seconde, plus vite que n'importe qui ne lit.
Les modèles à mélange d'experts ne lisent qu'une partie de leurs poids par token ; ils sont donc bien plus rapides que leur taille ne le laisse penser.
Plusieurs cartes, ou RAM système
Avec deux cartes ou plus, des outils comme llama.cpp et Ollama répartissent les couches entre elles. Vous obtenez la mémoire de toutes les cartes réunies, mais la vitesse reste proche de celle d'une seule carte.
Si un modèle ne tient pas, une partie peut résider dans la RAM système. Cela fonctionne, mais la RAM est 10 à 20 fois plus lente que la mémoire GPU, donc la vitesse chute fortement.
Essayer
Le simulateur En local fait tout cela pour votre carte exacte, votre nombre de cartes et votre RAM, et affiche le modèle le mieux voté qui tient. Il y a aussi 68 petits modèles pour des cartes de 4 à 12 GB qu'Arena n'a pas encore votés ; nous les signalons clairement.
Que peut faire tourner votre GPU ?
Choisissez votre carte et voyez la mémoire dont chaque modèle a besoin, s'il tient et la vitesse estimée.