FreeLLMTutti i modelli › google
Dove usarlo gratis
- La chat del laboratorio: aistudio.google.com (gratis con limiti giornalieri)
- Eseguilo in un comando con whichllm (gratis, open source):
uvx whichllm@latest plan "gemma-3-4b-it"mostra la GPU necessaria,uvx whichllm@latest run "gemma-3-4b-it gguf"la scarica e avvia una chat - Scaricalo e usalo a casa: pesi ufficiali · file GGUF per Ollama e LM Studio
Punteggi Arena
| Arena | Punteggio | Posizione | Voti |
|---|---|---|---|
| Chat | 1303 | #287 su 419 | 4K |
Posizione tra tutti i modelli, anche quelli a pagamento. Fonte: dataset della classifica Arena.
Velocità sull'hardware più diffuso
| Hardware | Memoria GPU | Ci sta? | Velocità |
|---|---|---|---|
| RTX 3060 12 GB | 12 GB | Entra nella GPU | 74 tok/s |
| RTX 4060 Ti 16 GB | 16 GB | Entra nella GPU | 60 tok/s |
| RTX 3090 | 24 GB | Entra nella GPU | 171 tok/s |
| RTX 4090 | 24 GB | Entra nella GPU | 182 tok/s |
| RTX 5090 | 32 GB | Entra nella GPU | 284 tok/s |
| RX 7900 XTX | 24 GB | Entra nella GPU | 175 tok/s |
| 2 × RTX 3090 | 48 GB | Entra nella GPU | 166 tok/s |
| 4 × RTX 3090 | 96 GB | Entra nella GPU | 157 tok/s |
| Mac M4 Max 128 GB | 96 GB | Entra nella GPU | 85 tok/s |
| Ryzen AI Max+ 395 128 GB | 96 GB | Entra nella GPU | 54 tok/s |
| 8 × H100 SXM | 640 GB | Entra nella GPU | 352 tok/s |
Stima a 4 bit con contesto da 32K e 64 GB di DDR5 per lo scarico in RAM. Velocità ≈ banda di memoria × 78% ÷ dati letti per token, più un costo fisso per token, calibrata su 44 test reali con llama.cpp; errore tipico di circa ±10%. Confronta tutte le GPU.
Memoria GPU necessaria
| Livello | Contesto da 8K | Contesto da 32K | Contesto da 128K | Qualità rispetto al modello completo |
|---|---|---|---|---|
| Q3_K_M | 3.1 GB | 3.7 GB | 6.1 GB | +10.5% perdita evidente |
| Q4_K_M | 3.5 GB | 4.1 GB | 6.5 GB | +2.8% piccola perdita |
| Q5_K_M | 4.0 GB | 4.6 GB | 7.0 GB | +0.9% perdita minima |
| Q6_K | 4.4 GB | 5.0 GB | 7.5 GB | +0.3% quasi senza perdita |
| Q8_0 | 5.5 GB | 6.1 GB | 8.5 GB | ≈ 0% uguale al completo |
| F16 | 9.5 GB | 10 GB | 13 GB | ≈ 0% uguale al completo |
Pesi + cache del contesto (dall'architettura del modello) + runtime. Qualità: aumento di perplexity rispetto al modello completo, dai test con llama.cpp, scalato in base alla dimensione del modello. Simula la tua configurazione.
Punteggio Chat nel tempo
Punteggio Arena dal 29 apr 2026 al 28 ott 2026.
Modelli gratis simili in Chat
- Mistral Small 3.1 24B Instruct (2503) 1303
- Qwen2.5-72B-Instruct 1303 · 72.7 B
- Granite 4.1 8B 1304 · 8.8 B
- Olmo 3 32B Think 1306
- Mistral Large (2411) 1306
- Llama 3.1 Nemotron 70B Instruct 1299
Condividi questa pagina:XLinkedInRedditWhatsApp
Hai visto un numero sbagliato o un link rotto? Segnala un errore