FreeLLMGPU › NVIDIA
I migliori modelli AI gratis per RTX 4090
RTX 4090: 24 GB di memoria video, 1008 GB/s. Questi sono i modelli gratis che riesce a usare, in ordine di voti su Arena, con la velocità che puoi aspettarti.
Simula la tua configurazione · Controlla il prezzo su Amazon ↗ · Confronta tutte le GPU
Modelli votati che stanno interamente sulla GPU
| Modello | Punteggio Arena | Dimensione | File a 4 bit | Token/s |
|---|---|---|---|---|
| Gemma 4 31B |
1443 | 31.3 B | 20 GB | 36 |
| Qwen3.8-27B alibaba |
1441 | 27.8 B | 18 GB | 43 |
| Gemma 4 26B A4B google · MoE, 4 B attivi |
1434 | 25.8 B | 17 GB | 152 |
| Qwen3.5-27B alibaba |
1409 | 27.8 B | 18 GB | 43 |
| gemma-3-27b-it |
1358 | 27.4 B | 18 GB | 42 |
Modelli più grandi con l'aiuto di 64 GB di RAM di sistema
Una parte del modello resta nella memoria di sistema, che è molto più lenta della memoria video.
Modelli piccoli diffusi
Modelli piccoli ufficiali senza ancora voti su Arena, in ordine di download su Hugging Face (conta la popolarità, non la qualità).
| Modello | Download al mese | Dimensione | File a 4 bit | Token/s |
|---|---|---|---|---|
| Qwen3-0.6B Qwen |
28.6M | 0.8 B | 1.7 GB | 356 |
| Qwen3-4B Qwen |
11.7M | 4 B | 3.6 GB | 178 |
| Qwen3-8B Qwen |
8.8M | 8.2 B | 6.2 GB | 113 |
| Qwen3-14B Qwen |
8.7M | 14.8 B | 10 GB | 71 |
| Qwen3.5-4B Qwen |
7.8M | 4.7 B | 4.0 GB | 201 |
| Qwen3.5-9B Qwen |
7.3M | 9.7 B | 7.1 GB | 113 |
Stime a 4 bit (Q4_K_M) con contesto da 8K, calibrate su 44 test reali con llama.cpp (errore tipico di circa ±10%). Token al secondo: circa 10 è la velocità di lettura. Come affiliati Amazon, FreeLLMArena guadagna dagli acquisti idonei; i link non cambiano le classifiche.
Domande
Qual è il miglior modello AI gratis per RTX 4090?
Gemma 4 31B (punteggio Arena 1443) è il modello aperto più votato che entra interamente in 24 GB di memoria video a 4 bit, e scrive circa 36 token al secondo.
Che dimensione di modello regge RTX 4090?
Circa 35 miliardi di parametri per un modello denso a 4 bit con contesto da 8K, tutto sulla GPU. I modelli mixture-of-experts possono essere più grandi e, con 64 GB di RAM di sistema, girano anche modelli più grossi, ma più lentamente.
RTX 4090 va bene per gli LLM in locale?
Ha 24 GB di memoria e 1008 GB/s di banda. La memoria decide quali modelli ci stanno; la banda decide quanto velocemente scrivono. Con 24 GB o più usa modelli da 27–32 B, il punto ideale di qualità per l'uso a casa.
Schede simili
- RTX 3090 Ti 24 GB · 1008 GB/s
- RX 7900 XTX 24 GB · 960 GB/s
- RTX 3090 24 GB · 936 GB/s
- RX 7900 XT 20 GB · 800 GB/s
- RTX 5090 32 GB · 1792 GB/s
- RTX 5080 16 GB · 960 GB/s
Condividi questa pagina:XLinkedInRedditWhatsApp
Hai visto un numero sbagliato o un link rotto? Segnala un errore