FreeLLMTous les modèles › google
Gemma 3 12B IT
google · licence Gemma · sur Arena depuis le 5 mai 2025
Où l'utiliser gratuitement
- Le chat du laboratoire : aistudio.google.com (gratuit avec limites quotidiennes)
- Exécutez-le en une seule commande avec whichllm (gratuit, open source) :
uvx whichllm@latest plan "gemma-3-12b-it"indique le GPU requis,uvx whichllm@latest run "gemma-3-12b-it gguf"le télécharge et lance une discussion - Téléchargez-le et lancez-le chez vous : poids officiels · fichiers GGUF pour Ollama et LM Studio
Scores Arena
| Arena | Score | Rang | Votes |
|---|---|---|---|
| Chat | 1342 | n°236 sur 419 | 4K |
Rang parmi tous les modèles, payants inclus. Source : jeu de données du classement Arena.
Vitesse sur du matériel courant
| Matériel | Mémoire GPU | Ça tient ? | Vitesse |
|---|---|---|---|
| RTX 3060 12 GB | 12 GB | Tient dans le GPU | 28 tok/s |
| RTX 4060 Ti 16 GB | 16 GB | Tient dans le GPU | 22 tok/s |
| RTX 3090 | 24 GB | Tient dans le GPU | 69 tok/s |
| RTX 4090 | 24 GB | Tient dans le GPU | 74 tok/s |
| RTX 5090 | 32 GB | Tient dans le GPU | 124 tok/s |
| RX 7900 XTX | 24 GB | Tient dans le GPU | 70 tok/s |
| 2 × RTX 3090 | 48 GB | Tient dans le GPU | 67 tok/s |
| 4 × RTX 3090 | 96 GB | Tient dans le GPU | 63 tok/s |
| Mac M4 Max 128 GB | 96 GB | Tient dans le GPU | 37 tok/s |
| Ryzen AI Max+ 395 128 GB | 96 GB | Tient dans le GPU | 20 tok/s |
| 8 × H100 SXM | 640 GB | Tient dans le GPU | 173 tok/s |
Estimation en 4 bits avec un contexte de 32K et 64 GB de DDR5 pour le déchargement. Vitesse ≈ bande passante mémoire × 78 % ÷ données lues par token, plus un coût fixe par token, calibrée sur 44 tests llama.cpp réels ; erreur typique d'environ ±10 %. Comparer tous les GPU.
Mémoire GPU nécessaire
| Niveau | Contexte de 8K | Contexte de 32K | Contexte de 128K | Qualité vs original |
|---|---|---|---|---|
| Q3_K_M | 7.6 GB | 9.2 GB | 16 GB | +9.4% perte sensible |
| Q4_K_M | 8.9 GB | 10 GB | 17 GB | +2.5% faible perte |
| Q5_K_M | 10 GB | 12 GB | 18 GB | +0.8% très faible perte |
| Q6_K | 11 GB | 13 GB | 20 GB | +0.3% quasi sans perte |
| Q8_0 | 14 GB | 16 GB | 22 GB | ≈ 0% identique à l'original |
| F16 | 26 GB | 27 GB | 34 GB | ≈ 0% identique à l'original |
Poids + cache de contexte (d'après l'architecture du modèle) + runtime. Qualité : hausse de perplexity par rapport au modèle complet, d'après les tests llama.cpp, ajustée selon la taille du modèle. Simulez votre propre configuration.
Score Chat au fil du temps
Score Arena du 29 avr. 2026 au 28 oct. 2026.
Modèles gratuits similaires en Chat
- Ling-flash-2.0 1343
- Llama 3.3 Nemotron Super 49B v1.5 1343
- Granite 4.2 30B 1340 · 29.3 B
- MiniMax-M2 1344 · 228.7 B
- nvidia-llama-3.3-nemotron-super-49b-v1.5 1338
- mistral-small-2506 1338
Partager cette page :XLinkedInRedditWhatsApp
Un chiffre erroné ou un lien cassé ? Signalez une erreur