FreeLLMGPU › Centro de datos
Mejores modelos de IA gratis para la H100 SXM
H100 SXM: 80 GB de memoria de vídeo, 3350 GB/s. Estos son los modelos gratis que ejecuta, ordenados por votos de Arena, con la velocidad que puedes esperar.
Modelos votados que caben enteros en la GPU
| Modelo | Puntuación de Arena | Tamaño | Archivo a 4 bits | Tokens/s |
|---|---|---|---|---|
| Gemma 4 31B |
1443 | 31.3 B | 20 GB | 110 |
| Qwen3.8-27B alibaba |
1441 | 27.8 B | 18 GB | 131 |
| Gemma 4 26B A4B google · MoE, 4 B activos |
1434 | 25.8 B | 17 GB | 254 |
| Qwen3.5-122B-A10B alibaba · MoE, 10 B activos |
1417 | 125.1 B | 77 GB | 192 |
| Qwen3.5-27B alibaba |
1409 | 27.8 B | 18 GB | 131 |
| GLM-4.6V zai · MoE, 14.3 B activos |
1376 | 107.7 B | 66 GB | 149 |
| gemma-3-27b-it |
1358 | 27.4 B | 18 GB | 128 |
| GLM-4.5V zai · MoE, 14.3 B activos |
1333 | 107.7 B | 66 GB | 149 |
Modelos pequeños populares
Modelos pequeños oficiales aún sin votos en Arena, ordenados por descargas en Hugging Face (popularidad, no calidad).
| Modelo | Descargas/mes | Tamaño | Archivo a 4 bits | Tokens/s |
|---|---|---|---|---|
| Qwen3-0.6B Qwen |
28.6M | 0.8 B | 1.7 GB | 647 |
| Qwen3-4B Qwen |
11.7M | 4 B | 3.6 GB | 418 |
| Qwen3-8B Qwen |
8.8M | 8.2 B | 6.2 GB | 297 |
| Qwen3-14B Qwen |
8.7M | 14.8 B | 10 GB | 202 |
| Qwen3.5-4B Qwen |
7.8M | 4.7 B | 4.0 GB | 456 |
| Qwen3.5-9B Qwen |
7.3M | 9.7 B | 7.1 GB | 298 |
Estimaciones a 4 bits (Q4_K_M) con un contexto de 8K, calibradas con 44 pruebas reales de llama.cpp (error típico de unos ±10 %). Tokens por segundo: unos 10 equivalen a la velocidad de lectura.
Preguntas
¿Cuál es el mejor modelo de IA gratis para la H100 SXM?
Gemma 4 31B (puntuación de Arena 1443) es el modelo abierto mejor votado que cabe entero en 80 GB de memoria de vídeo a 4 bits, y escribe unos 110 tokens por segundo.
¿Qué tamaño de modelo puede ejecutar la H100 SXM?
Unos 123 mil millones de parámetros en un modelo denso a 4 bits con un contexto de 8K, entero en la GPU. Los modelos de mezcla de expertos pueden ser más grandes, y con 64 GB de RAM del sistema se ejecutan modelos aún mayores, aunque más despacio.
¿Es buena la H100 SXM para LLM locales?
Tiene 80 GB de memoria y 3350 GB/s de ancho de banda. La memoria decide qué modelos caben; el ancho de banda, a qué velocidad escriben. Con 24 GB o más ejecuta modelos de 27–32 B, el punto ideal de calidad para uso doméstico.
Tarjetas similares
- A100 80 GB 80 GB · 2039 GB/s
- RTX PRO 6000 Blackwell 96 GB · 1792 GB/s
- Mac mini M4 Pro 64 GB 64 GB · 273 GB/s
- RTX 6000 Ada 48 GB · 960 GB/s
- RTX A6000 48 GB · 768 GB/s
- RTX 5090 32 GB · 1792 GB/s
Comparte esta página:XLinkedInRedditWhatsApp
¿Has visto un número incorrecto o un enlace roto? Avísanos del error