Vote na Free Arena
PT

Todos os modelos › Qwen

Qwen3-14B

Qwen · licença aberta · lançado em 27 abr. 2025

Download Sem votos na Arena
Pontuação Arena—Ainda sem votos na Arena
Tamanho14.8 Bparâmetros
Download de 4 bits9.0 GBsó os pesos, Q4_K_M
Contexto máximo40Ktokens, segundo a configuração do modelo

Onde usar de graça

Ainda sem votos na Arena

A Arena não votou neste modelo. Ele aparece aqui por ser um modelo pequeno popular na página oficial do laboratório no Hugging Face (8.7M de downloads por mês).

Velocidade em hardware popular

HardwareMemória da GPUCabe?Velocidade
RTX 3060 12 GB12 GBGPU + 64 GB de RAM13 tok/s
RTX 4060 Ti 16 GB16 GBCabe na GPU15 tok/s
RTX 309024 GBCabe na GPU48 tok/s
RTX 409024 GBCabe na GPU52 tok/s
RTX 509032 GBCabe na GPU89 tok/s
RX 7900 XTX24 GBCabe na GPU50 tok/s
2 × RTX 309048 GBCabe na GPU47 tok/s
4 × RTX 309096 GBCabe na GPU44 tok/s
Mac M4 Max 128 GB96 GBCabe na GPU27 tok/s
Ryzen AI Max+ 395 128 GB96 GBCabe na GPU14 tok/s
8 × H100 SXM640 GBCabe na GPU127 tok/s

Estimativa com 4 bits e contexto de 32K, com 64 GB de DDR5 para offload. Velocidade ≈ largura de banda da memória × 78% ÷ dados lidos por token, mais um custo fixo por token, calibrada em 44 testes reais com llama.cpp; erro típico de cerca de ±10%. Compare todas as GPUs.

Memória de GPU necessária

NívelContexto de 8KContexto de 32KQualidade vs. completo
Q3_K_M9.3 GB13 GB+8.9% perda perceptível
Q4_K_M11 GB15 GB+2.4% perda pequena
Q5_K_M12 GB16 GB+0.8% perda muito pequena
Q6_K14 GB18 GB+0.3% quase sem perda
Q8_018 GB22 GB≈ 0% igual ao completo
F1632 GB36 GB≈ 0% igual ao completo

Pesos + cache de contexto (a partir da arquitetura do modelo) + runtime. Qualidade: aumento em perplexity em relação ao modelo completo, com base em testes com llama.cpp, ajustado pelo tamanho do modelo. Simule a sua configuração.

Compartilhe esta página:XLinkedInRedditWhatsApp