FreeLLMTodos los modelos › google
gemma-3-1b-it
google · licencia que hay que aceptar · lanzado el 10 mar 2025
Dónde usarlo gratis
- El chat del propio laboratorio: aistudio.google.com (gratis con límites diarios)
- Descárgalo y ejecútalo en casa: pesos oficiales · archivos GGUF para Ollama y LM Studio (primero aceptas la licencia en Hugging Face)
Aún sin votos en Arena
Arena no ha votado este modelo. Aparece porque es un modelo pequeño popular en la página oficial de su laboratorio en Hugging Face (1.4M descargas al mes).
Velocidad en hardware popular
| Hardware | Memoria de GPU | ¿Cabe? | Velocidad |
|---|---|---|---|
| RTX 3060 12 GB | 12 GB | Cabe en la GPU | 264 tok/s |
| RTX 4060 Ti 16 GB | 16 GB | Cabe en la GPU | 223 tok/s |
| RTX 3090 | 24 GB | Cabe en la GPU | 482 tok/s |
| RTX 4090 | 24 GB | Cabe en la GPU | 500 tok/s |
| RTX 5090 | 32 GB | Cabe en la GPU | 640 tok/s |
| RX 7900 XTX | 24 GB | Cabe en la GPU | 488 tok/s |
| 2 × RTX 3090 | 48 GB | Cabe en la GPU | 468 tok/s |
| 4 × RTX 3090 | 96 GB | Cabe en la GPU | 442 tok/s |
| Mac M4 Max 128 GB | 96 GB | Cabe en la GPU | 187 tok/s |
| Ryzen AI Max+ 395 128 GB | 96 GB | Cabe en la GPU | 203 tok/s |
| 8 × H100 SXM | 640 GB | Cabe en la GPU | 636 tok/s |
Estimación a 4 bits con contexto de 32K y 64 GB de DDR5 para el volcado a RAM. Velocidad ≈ ancho de banda de memoria × 78 % ÷ datos leídos por token, más un coste fijo por token, calibrada con 44 pruebas reales de llama.cpp; error típico de unos ±10 %. Compara todas las GPU.
Memoria de GPU necesaria
| Nivel | Contexto de 8K | Contexto de 32K | Calidad frente al modelo completo |
|---|---|---|---|
| Q3_K_M | 1.2 GB | 1.3 GB | +10.5 % pérdida notable |
| Q4_K_M | 1.3 GB | 1.4 GB | +2.8 % pérdida pequeña |
| Q5_K_M | 1.4 GB | 1.5 GB | +0.9 % pérdida muy pequeña |
| Q6_K | 1.5 GB | 1.6 GB | +0.3 % casi sin pérdida |
| Q8_0 | 1.7 GB | 1.8 GB | ≈ 0 % igual que el completo |
| F16 | 2.7 GB | 2.8 GB | ≈ 0 % igual que el completo |
Pesos + caché de contexto (según la arquitectura del modelo) + entorno de ejecución. Calidad: aumento de perplexity respecto al modelo completo, según pruebas de llama.cpp, ajustado al tamaño del modelo. Simula tu propia configuración.
Comparte esta página:XLinkedInRedditWhatsApp
¿Has visto un número incorrecto o un enlace roto? Avísanos del error