Vota en Free Arena

Todos los modelos › Qwen

Qwen3-4B-Instruct-2507

Qwen · open license · released 5 Aug 2025

Descargar Sin votos en Arena
Puntuación de Arena—Aún sin votos en Arena
Tamaño4 Bparámetros
Descarga a 4 bits2.4 GBsolo los pesos, Q4_K_M
Contexto máximo256Ktokens, según la configuración del modelo

Dónde usarlo gratis

  • Ejecútalo en un solo comando con whichllm (gratis, código abierto): uvx whichllm@latest plan "Qwen3-4B-Instruct-2507" muestra la GPU que necesitas, uvx whichllm@latest run "Qwen3-4B-Instruct-2507 gguf" la descarga y comienza un chat
  • Descárgalo y ejecútalo en casa: pesos oficiales · archivos GGUF para Ollama y LM Studio

Aún sin votos en Arena

Arena no ha votado este modelo. Aparece porque es un modelo pequeño popular en la página oficial de su laboratorio en Hugging Face (6.4M descargas al mes).

Velocidad en hardware popular

HardwareMemoria de GPU¿Cabe?Velocidad
RTX 3060 12 GB12 GBCabe en la GPU37 tok/s
RTX 4060 Ti 16 GB16 GBCabe en la GPU30 tok/s
RTX 309024 GBCabe en la GPU91 tok/s
RTX 409024 GBCabe en la GPU98 tok/s
RTX 509032 GBCabe en la GPU162 tok/s
RX 7900 XTX24 GBCabe en la GPU94 tok/s
2 × RTX 309048 GBCabe en la GPU89 tok/s
4 × RTX 309096 GBCabe en la GPU84 tok/s
Mac M4 Max 128 GB96 GBCabe en la GPU49 tok/s
Ryzen AI Max+ 395 128 GB96 GBCabe en la GPU27 tok/s
8 × H100 SXM640 GBCabe en la GPU219 tok/s

Estimación a 4 bits con contexto de 32K y 64 GB de DDR5 para el volcado a RAM. Velocidad ≈ ancho de banda de memoria × 78 % ÷ datos leídos por token, más un coste fijo por token, calibrada con 44 pruebas reales de llama.cpp; error típico de unos ±10 %. Compara todas las GPU.

Memoria de GPU necesaria

NivelContexto de 8KContexto de 32KContexto de 128KCalidad frente al modelo completo
Q3_K_M3.8 GB7.4 GB22 GB+10.5 % pérdida notable
Q4_K_M4.2 GB7.9 GB22 GB+2.8 % pérdida pequeña
Q5_K_M4.7 GB8.3 GB23 GB+0.9 % pérdida muy pequeña
Q6_K5.1 GB8.7 GB23 GB+0.3 % casi sin pérdida
Q8_06.1 GB9.7 GB24 GB≈ 0 % igual que el completo
F169.8 GB13 GB28 GB≈ 0 % igual que el completo

Pesos + caché de contexto (según la arquitectura del modelo) + entorno de ejecución. Calidad: aumento de perplexity respecto al modelo completo, según pruebas de llama.cpp, ajustado al tamaño del modelo. Simula tu propia configuración.

Comparte esta página:XLinkedInRedditWhatsApp

Pulsa / o Ctrl+K para buscar desde cualquier página.