FreeLLMGPU › NVIDIA
Meilleurs modèles d'IA gratuits pour RTX 4090
RTX 4090 : 24 GB de mémoire vidéo, 1008 GB/s. Voici les modèles gratuits qu'il fait tourner, classés par votes Arena, avec la vitesse à laquelle vous pouvez vous attendre.
Simulez votre configuration · Voir le prix sur Amazon ↗ · Comparer tous les GPU
Modèles votés qui tiennent entièrement sur le GPU
| Modèle | Score Arena | Taille | Fichier 4 bits | Tokens/s |
|---|---|---|---|---|
| Gemma 4 31B |
1443 | 31.3 B | 20 GB | 36 |
| Qwen3.8-27B alibaba |
1441 | 27.8 B | 18 GB | 43 |
| Gemma 4 26B A4B google · MoE, 4 B actifs |
1434 | 25.8 B | 17 GB | 152 |
| Qwen3.5-27B alibaba |
1409 | 27.8 B | 18 GB | 43 |
| gemma-3-27b-it |
1358 | 27.4 B | 18 GB | 42 |
Des modèles plus gros grâce à 64 GB de RAM système
Une partie du modèle réside dans la mémoire système, bien plus lente que la mémoire vidéo.
Petits modèles populaires
Petits modèles officiels sans vote Arena pour l'instant, classés par nombre de téléchargements sur Hugging Face (popularité, pas qualité).
| Modèle | Téléchargements/mois | Taille | Fichier 4 bits | Tokens/s |
|---|---|---|---|---|
| Qwen3-0.6B Qwen |
28.6M | 0.8 B | 1.7 GB | 356 |
| Qwen3-4B Qwen |
11.7M | 4 B | 3.6 GB | 178 |
| Qwen3-8B Qwen |
8.8M | 8.2 B | 6.2 GB | 113 |
| Qwen3-14B Qwen |
8.7M | 14.8 B | 10 GB | 71 |
| Qwen3.5-4B Qwen |
7.8M | 4.7 B | 4.0 GB | 201 |
| Qwen3.5-9B Qwen |
7.3M | 9.7 B | 7.1 GB | 113 |
Estimations en 4 bits (Q4_K_M) avec un contexte de 8K, calibrées sur 44 tests llama.cpp réels (erreur typique d'environ ±10 %). Tokens par seconde : environ 10 correspond à la vitesse de lecture. En tant que Partenaire Amazon, FreeLLMArena réalise un bénéfice sur les achats remplissant les conditions requises ; les liens ne modifient pas les classements.
Questions
Quel est le meilleur modèle d'IA gratuit pour RTX 4090 ?
Gemma 4 31B (score Arena 1443) est le modèle ouvert le mieux voté qui tient entièrement dans 24 GB de mémoire vidéo en 4 bits, avec environ 36 tokens par seconde.
Quelle taille de modèle peut-on faire tourner sur RTX 4090 ?
Environ 35 milliards de paramètres pour un modèle dense en 4 bits avec un contexte de 8K, entièrement sur le GPU. Les modèles à mélange d'experts peuvent être plus gros, et avec 64 GB de RAM système, des modèles encore plus grands tournent, mais plus lentement.
RTX 4090 convient-il aux LLM locaux ?
Il dispose de 24 GB de mémoire et de 1008 GB/s de bande passante. La mémoire détermine quels modèles tiennent ; la bande passante détermine leur vitesse d'écriture. Avec 24 GB ou plus, il fait tourner des modèles de 27–32 B, le meilleur compromis de qualité pour un usage à domicile.
Cartes similaires
- RTX 3090 Ti 24 GB · 1008 GB/s
- RX 7900 XTX 24 GB · 960 GB/s
- RTX 3090 24 GB · 936 GB/s
- RX 7900 XT 20 GB · 800 GB/s
- RTX 5090 32 GB · 1792 GB/s
- RTX 5080 16 GB · 960 GB/s
Partager cette page :XLinkedInRedditWhatsApp
Un chiffre erroné ou un lien cassé ? Signalez une erreur