Vote na Free Arena

Todos os modelos › alibaba

Qwen2.5-VL-32B-Instruct

alibaba · licença Apache 2.0 · na Arena desde 19 out. 2026

Chat do laboratório Download
Pontuação Arena1152#119 de 167 em Visão, modelos pagos incluídos
Tamanho33.5 Bparâmetros
Download de 4 bits20 GBsó os pesos, Q4_K_M
Contexto máximo125Ktokens, segundo a configuração do modelo

Onde usar de graça

Pontuações Arena

ArenaPontuaçãoPosiçãoVotos
Visão1152#119 de 1671K

Posição entre todos os modelos, inclusive os pagos. Fonte: conjunto de dados do ranking da Arena.

Velocidade em hardware popular

HardwareMemória da GPUCabe?Velocidade
RTX 3060 12 GB12 GBGPU + 64 GB de RAM3.7 tok/s
RTX 4060 Ti 16 GB16 GBGPU + 64 GB de RAM4.1 tok/s
RTX 309024 GBGPU + 64 GB de RAM9.6 tok/s
RTX 409024 GBGPU + 64 GB de RAM9.8 tok/s
RTX 509032 GBCabe na GPU46 tok/s
RX 7900 XTX24 GBGPU + 64 GB de RAM9.6 tok/s
2 × RTX 309048 GBCabe na GPU24 tok/s
4 × RTX 309096 GBCabe na GPU23 tok/s
Mac M4 Max 128 GB96 GBCabe na GPU14 tok/s
Ryzen AI Max+ 395 128 GB96 GBCabe na GPU6.9 tok/s
8 × H100 SXM640 GBCabe na GPU69 tok/s

Estimativa com 4 bits e contexto de 32K, com 64 GB de DDR5 para offload. Velocidade ≈ largura de banda da memória × 78% ÷ dados lidos por token, mais um custo fixo por token, calibrada em 44 testes reais com llama.cpp; erro típico de cerca de ±10%. Compare todas as GPUs.

Memória de GPU necessária

NívelContexto de 8KContexto de 32KQualidade vs. completo
Q3_K_M19 GB26 GB+6.7% perda perceptível
Q4_K_M23 GB29 GB+1.8% perda pequena
Q5_K_M27 GB33 GB+0.6% quase sem perda
Q6_K30 GB37 GB+0.2% quase sem perda
Q8_038 GB45 GB≈ 0% igual ao completo
F1670 GB76 GB≈ 0% igual ao completo

Pesos + cache de contexto (a partir da arquitetura do modelo) + runtime. Qualidade: aumento em perplexity em relação ao modelo completo, com base em testes com llama.cpp, ajustado pelo tamanho do modelo. Simule a sua configuração.

Modelos grátis parecidos em Visão

Compartilhe esta página:XLinkedInRedditWhatsApp