Comparatif des GPU pour l'IA locale

En 4 bits, un modèle a besoin d'environ 0.6 GB par milliard de paramètres, plus le cache de contexte et environ 1 GB pour le runtime. Un modèle de 8 B tient dans 8 GB, un modèle de 27–32 B demande environ 20–24 GB, un modèle de 70 B demande environ 45 GB (deux cartes de 24 GB). La colonne « Plus gros modèle » fait ce calcul pour chaque carte avec un contexte de 8K.

Quand un modèle écrit, chaque nouveau mot lit une fois tous les poids actifs en mémoire. La vitesse correspond donc à peu près à la bande passante divisée par la taille des poids actifs. C'est pourquoi une RTX 3090 (936 GB/s) écrit encore plus vite que bien des cartes récentes de milieu de gamme.

Pour les LLM locaux, c'est souvent le meilleur rapport qualité-prix : 24 GB et une bande passante élevée. Elle consomme beaucoup (350 W) et n'a aucune garantie quand elle est achetée d'occasion. Comparez le prix avec une carte neuve de 16 GB : 16 GB ne suffisent pas pour des modèles de 27–32 B en 4 bits avec un contexte utile.

NVIDIA offre le support logiciel le plus large (CUDA). Les cartes AMD fonctionnent bien avec llama.cpp, Ollama et LM Studio (ROCm ou Vulkan) et donnent souvent plus de mémoire pour le prix. Les machines Apple Silicon et AMD Ryzen AI Max partagent la mémoire entre CPU et GPU : elles peuvent charger de très gros modèles, mais écrivent plus lentement qu'un gros GPU de bureau.

Deux cartes additionnent leur mémoire : un modèle de 70 B tient donc sur deux cartes de 24 GB. La vitesse ne double pas : les cartes travaillent à tour de rôle, vous obtenez donc à peu près la vitesse d'une carte, un peu moins. Choisissez « 2 cartes » ci-dessus pour voir les chiffres.

Ce sont des estimations : bande passante mémoire × 78 % ÷ données lues par mot, plus un coût fixe par mot (environ 1 ms, 2.8 ms pour les modèles à mélange d'experts, plus sur Apple), en 4 bits (Q4_K_M) avec un contexte de 8K. Nous avons vérifié la formule sur 44 tests llama.cpp réels : l'erreur médiane est de 9 %, et 42 sur 44 sont dans une marge de ±30 %. Les chiffres réels dépendent aussi de la version du logiciel, des pilotes (sur AMD, Vulkan est souvent plus rapide que ROCm) et des réglages. Servez-vous-en pour comparer des cartes, pas comme valeurs exactes.