FreeLLMTutti i modelli › google
Dove usarlo gratis
- La chat del laboratorio: aistudio.google.com (gratis con limiti giornalieri)
- Eseguilo in un comando con whichllm (gratis, open source):
uvx whichllm@latest plan "gemma-3-12b-it"mostra la GPU necessaria,uvx whichllm@latest run "gemma-3-12b-it gguf"la scarica e avvia una chat - Scaricalo e usalo a casa: pesi ufficiali · file GGUF per Ollama e LM Studio
Punteggi Arena
| Arena | Punteggio | Posizione | Voti |
|---|---|---|---|
| Chat | 1342 | #236 su 419 | 4K |
Posizione tra tutti i modelli, anche quelli a pagamento. Fonte: dataset della classifica Arena.
Velocità sull'hardware più diffuso
| Hardware | Memoria GPU | Ci sta? | Velocità |
|---|---|---|---|
| RTX 3060 12 GB | 12 GB | Entra nella GPU | 28 tok/s |
| RTX 4060 Ti 16 GB | 16 GB | Entra nella GPU | 22 tok/s |
| RTX 3090 | 24 GB | Entra nella GPU | 69 tok/s |
| RTX 4090 | 24 GB | Entra nella GPU | 74 tok/s |
| RTX 5090 | 32 GB | Entra nella GPU | 124 tok/s |
| RX 7900 XTX | 24 GB | Entra nella GPU | 70 tok/s |
| 2 × RTX 3090 | 48 GB | Entra nella GPU | 67 tok/s |
| 4 × RTX 3090 | 96 GB | Entra nella GPU | 63 tok/s |
| Mac M4 Max 128 GB | 96 GB | Entra nella GPU | 37 tok/s |
| Ryzen AI Max+ 395 128 GB | 96 GB | Entra nella GPU | 20 tok/s |
| 8 × H100 SXM | 640 GB | Entra nella GPU | 173 tok/s |
Stima a 4 bit con contesto da 32K e 64 GB di DDR5 per lo scarico in RAM. Velocità ≈ banda di memoria × 78% ÷ dati letti per token, più un costo fisso per token, calibrata su 44 test reali con llama.cpp; errore tipico di circa ±10%. Confronta tutte le GPU.
Memoria GPU necessaria
| Livello | Contesto da 8K | Contesto da 32K | Contesto da 128K | Qualità rispetto al modello completo |
|---|---|---|---|---|
| Q3_K_M | 7.6 GB | 9.2 GB | 16 GB | +9.4% perdita evidente |
| Q4_K_M | 8.9 GB | 10 GB | 17 GB | +2.5% piccola perdita |
| Q5_K_M | 10 GB | 12 GB | 18 GB | +0.8% perdita minima |
| Q6_K | 11 GB | 13 GB | 20 GB | +0.3% quasi senza perdita |
| Q8_0 | 14 GB | 16 GB | 22 GB | ≈ 0% uguale al completo |
| F16 | 26 GB | 27 GB | 34 GB | ≈ 0% uguale al completo |
Pesi + cache del contesto (dall'architettura del modello) + runtime. Qualità: aumento di perplexity rispetto al modello completo, dai test con llama.cpp, scalato in base alla dimensione del modello. Simula la tua configurazione.
Punteggio Chat nel tempo
Punteggio Arena dal 29 apr 2026 al 28 ott 2026.
Modelli gratis simili in Chat
- Ling-flash-2.0 1343
- Llama 3.3 Nemotron Super 49B v1.5 1343
- Granite 4.2 30B 1340 · 29.3 B
- MiniMax-M2 1344 · 228.7 B
- nvidia-llama-3.3-nemotron-super-49b-v1.5 1338
- mistral-small-2506 1338
Condividi questa pagina:XLinkedInRedditWhatsApp
Hai visto un numero sbagliato o un link rotto? Segnala un errore