FreeLLMGPU › Station de travail
Meilleurs modèles d'IA gratuits pour RTX 6000 Ada
RTX 6000 Ada : 48 GB de mémoire vidéo, 960 GB/s. Voici les modèles gratuits qu'il fait tourner, classés par votes Arena, avec la vitesse à laquelle vous pouvez vous attendre.
Simulez votre configuration · Voir le prix sur Amazon ↗ · Comparer tous les GPU
Modèles votés qui tiennent entièrement sur le GPU
| Modèle | Score Arena | Taille | Fichier 4 bits | Tokens/s |
|---|---|---|---|---|
| Gemma 4 31B |
1443 | 31.3 B | 20 GB | 34 |
| Qwen3.8-27B alibaba |
1441 | 27.8 B | 18 GB | 41 |
| Gemma 4 26B A4B google · MoE, 4 B actifs |
1434 | 25.8 B | 17 GB | 148 |
| Qwen3.5-27B alibaba |
1409 | 27.8 B | 18 GB | 41 |
| gemma-3-27b-it |
1358 | 27.4 B | 18 GB | 40 |
Des modèles plus gros grâce à 64 GB de RAM système
Une partie du modèle réside dans la mémoire système, bien plus lente que la mémoire vidéo.
| Modèle | Score Arena | Taille | Fichier 4 bits | Tokens/s |
|---|---|---|---|---|
| Qwen3.5-122B-A10B alibaba · MoE, 10 B actifs |
1417 | 125.1 B | 77 GB | 26 |
| GLM-4.6V zai · MoE, 14.3 B actifs |
1376 | 107.7 B | 66 GB | 21 |
| GLM-4.5V zai · MoE, 14.3 B actifs |
1333 | 107.7 B | 66 GB | 21 |
Petits modèles populaires
Petits modèles officiels sans vote Arena pour l'instant, classés par nombre de téléchargements sur Hugging Face (popularité, pas qualité).
| Modèle | Téléchargements/mois | Taille | Fichier 4 bits | Tokens/s |
|---|---|---|---|---|
| Qwen3-0.6B Qwen |
28.6M | 0.8 B | 1.7 GB | 345 |
| Qwen3-4B Qwen |
11.7M | 4 B | 3.6 GB | 171 |
| Qwen3-8B Qwen |
8.8M | 8.2 B | 6.2 GB | 108 |
| Qwen3-14B Qwen |
8.7M | 14.8 B | 10 GB | 68 |
| Qwen3.5-4B Qwen |
7.8M | 4.7 B | 4.0 GB | 194 |
| Qwen3.5-9B Qwen |
7.3M | 9.7 B | 7.1 GB | 109 |
Estimations en 4 bits (Q4_K_M) avec un contexte de 8K, calibrées sur 44 tests llama.cpp réels (erreur typique d'environ ±10 %). Tokens par seconde : environ 10 correspond à la vitesse de lecture. En tant que Partenaire Amazon, FreeLLMArena réalise un bénéfice sur les achats remplissant les conditions requises ; les liens ne modifient pas les classements.
Questions
Quel est le meilleur modèle d'IA gratuit pour RTX 6000 Ada ?
Gemma 4 31B (score Arena 1443) est le modèle ouvert le mieux voté qui tient entièrement dans 48 GB de mémoire vidéo en 4 bits, avec environ 34 tokens par seconde.
Quelle taille de modèle peut-on faire tourner sur RTX 6000 Ada ?
Environ 73 milliards de paramètres pour un modèle dense en 4 bits avec un contexte de 8K, entièrement sur le GPU. Les modèles à mélange d'experts peuvent être plus gros, et avec 64 GB de RAM système, des modèles encore plus grands tournent, mais plus lentement.
RTX 6000 Ada convient-il aux LLM locaux ?
Il dispose de 48 GB de mémoire et de 960 GB/s de bande passante. La mémoire détermine quels modèles tiennent ; la bande passante détermine leur vitesse d'écriture. Avec 24 GB ou plus, il fait tourner des modèles de 27–32 B, le meilleur compromis de qualité pour un usage à domicile.
Cartes similaires
- RTX A6000 48 GB · 768 GB/s
- RTX 5090 32 GB · 1792 GB/s
- Mac mini M4 Pro 64 GB 64 GB · 273 GB/s
- RTX 3090 Ti 24 GB · 1008 GB/s
- RTX 4090 24 GB · 1008 GB/s
- RX 7900 XTX 24 GB · 960 GB/s
Partager cette page :XLinkedInRedditWhatsApp
Un chiffre erroné ou un lien cassé ? Signalez une erreur