Vota in Free Arena

GPU › NVIDIA

I migliori modelli AI gratis per RTX 4080 Super

RTX 4080 Super: 16 GB di memoria video, 736 GB/s. Questi sono i modelli gratis che riesce a usare, in ordine di voti su Arena, con la velocità che puoi aspettarti.

Simula la tua configurazione · Controlla il prezzo su Amazon ↗ · Confronta tutte le GPU

Miglior modello votato, con l'aiuto della RAMGemma 4 31BArena 1443 · ~9.7 token/s con 64 GB di RAM
Modello denso più grande~23 Ba 4 bit, contesto da 8K, tutto sulla GPU
Memoria16 GB736 GB/s di banda
Con due schedeGemma 4 31B32 GB · ~26 token/s

Modelli più grandi con l'aiuto di 64 GB di RAM di sistema

Una parte del modello resta nella memoria di sistema, che è molto più lenta della memoria video.

ModelloPunteggio ArenaDimensioneFile a 4 bitToken/s
Gemma 4 31B
google
144331.3 B20 GB9.7
Qwen3.8-27B
alibaba
144127.8 B18 GB19
Gemma 4 26B A4B
google · MoE, 4 B attivi
143425.8 B17 GB107
Qwen3.5-27B
alibaba
140927.8 B18 GB19
gemma-3-27b-it
google
135827.4 B18 GB17

Modelli piccoli diffusi

Modelli piccoli ufficiali senza ancora voti su Arena, in ordine di download su Hugging Face (conta la popolarità, non la qualità).

ModelloDownload al meseDimensioneFile a 4 bitToken/s
Qwen3-0.6B
Qwen
28.6M0.8 B1.7 GB287
Qwen3-4B
Qwen
11.7M4 B3.6 GB136
Qwen3-8B
Qwen
8.8M8.2 B6.2 GB85
Qwen3-14B
Qwen
8.7M14.8 B10 GB53
Qwen3.5-4B
Qwen
7.8M4.7 B4.0 GB156
Qwen3.5-9B
Qwen
7.3M9.7 B7.1 GB85

Stime a 4 bit (Q4_K_M) con contesto da 8K, calibrate su 44 test reali con llama.cpp (errore tipico di circa ±10%). Token al secondo: circa 10 è la velocità di lettura. Come affiliati Amazon, FreeLLMArena guadagna dagli acquisti idonei; i link non cambiano le classifiche.

Domande

Qual è il miglior modello AI gratis per RTX 4080 Super?

Nessun modello votato entra interamente in 16 GB a 4 bit. Ci entrano i modelli piccoli senza voti su Arena, mentre quelli più grandi girano con l'aiuto della RAM di sistema, più lentamente.

Che dimensione di modello regge RTX 4080 Super?

Circa 23 miliardi di parametri per un modello denso a 4 bit con contesto da 8K, tutto sulla GPU. I modelli mixture-of-experts possono essere più grandi e, con 64 GB di RAM di sistema, girano anche modelli più grossi, ma più lentamente.

RTX 4080 Super va bene per gli LLM in locale?

Ha 16 GB di memoria e 736 GB/s di banda. La memoria decide quali modelli ci stanno; la banda decide quanto velocemente scrivono. Con 16 GB fa girare interamente sulla GPU modelli fino a circa 20 B; i modelli da 27–32 B hanno bisogno della RAM di sistema.

Schede simili

Condividi questa pagina:XLinkedInRedditWhatsApp