FreeLLMGPU › Centro de datos
Mejores modelos de IA gratis para la A100 80 GB
A100 80 GB: 80 GB de memoria de vídeo, 2039 GB/s. Estos son los modelos gratis que ejecuta, ordenados por votos de Arena, con la velocidad que puedes esperar.
Modelos votados que caben enteros en la GPU
| Modelo | Puntuación de Arena | Tamaño | Archivo a 4 bits | Tokens/s |
|---|---|---|---|---|
| Gemma 4 31B |
1443 | 31.3 B | 20 GB | 70 |
| Qwen3.8-27B alibaba |
1441 | 27.8 B | 18 GB | 84 |
| Gemma 4 26B A4B google · MoE, 4 B activos |
1434 | 25.8 B | 17 GB | 214 |
| Qwen3.5-122B-A10B alibaba · MoE, 10 B activos |
1417 | 125.1 B | 77 GB | 148 |
| Qwen3.5-27B alibaba |
1409 | 27.8 B | 18 GB | 84 |
| GLM-4.6V zai · MoE, 14.3 B activos |
1376 | 107.7 B | 66 GB | 108 |
| gemma-3-27b-it |
1358 | 27.4 B | 18 GB | 82 |
| GLM-4.5V zai · MoE, 14.3 B activos |
1333 | 107.7 B | 66 GB | 108 |
Modelos pequeños populares
Modelos pequeños oficiales aún sin votos en Arena, ordenados por descargas en Hugging Face (popularidad, no calidad).
| Modelo | Descargas/mes | Tamaño | Archivo a 4 bits | Tokens/s |
|---|---|---|---|---|
| Qwen3-0.6B Qwen |
28.6M | 0.8 B | 1.7 GB | 528 |
| Qwen3-4B Qwen |
11.7M | 4 B | 3.6 GB | 305 |
| Qwen3-8B Qwen |
8.8M | 8.2 B | 6.2 GB | 205 |
| Qwen3-14B Qwen |
8.7M | 14.8 B | 10 GB | 134 |
| Qwen3.5-4B Qwen |
7.8M | 4.7 B | 4.0 GB | 338 |
| Qwen3.5-9B Qwen |
7.3M | 9.7 B | 7.1 GB | 206 |
Estimaciones a 4 bits (Q4_K_M) con un contexto de 8K, calibradas con 44 pruebas reales de llama.cpp (error típico de unos ±10 %). Tokens por segundo: unos 10 equivalen a la velocidad de lectura.
Preguntas
¿Cuál es el mejor modelo de IA gratis para la A100 80 GB?
Gemma 4 31B (puntuación de Arena 1443) es el modelo abierto mejor votado que cabe entero en 80 GB de memoria de vídeo a 4 bits, y escribe unos 70 tokens por segundo.
¿Qué tamaño de modelo puede ejecutar la A100 80 GB?
Unos 123 mil millones de parámetros en un modelo denso a 4 bits con un contexto de 8K, entero en la GPU. Los modelos de mezcla de expertos pueden ser más grandes, y con 64 GB de RAM del sistema se ejecutan modelos aún mayores, aunque más despacio.
¿Es buena la A100 80 GB para LLM locales?
Tiene 80 GB de memoria y 2039 GB/s de ancho de banda. La memoria decide qué modelos caben; el ancho de banda, a qué velocidad escriben. Con 24 GB o más ejecuta modelos de 27–32 B, el punto ideal de calidad para uso doméstico.
Tarjetas similares
- H100 SXM 80 GB · 3350 GB/s
- RTX PRO 6000 Blackwell 96 GB · 1792 GB/s
- Mac mini M4 Pro 64 GB 64 GB · 273 GB/s
- RTX 6000 Ada 48 GB · 960 GB/s
- RTX A6000 48 GB · 768 GB/s
- RTX 5090 32 GB · 1792 GB/s
Comparte esta página:XLinkedInRedditWhatsApp
¿Has visto un número incorrecto o un enlace roto? Avísanos del error