Qwen2.5-VL-7B-Instruct

Onde usar de graça

• Execute em um comando com whichllm (gratuito, código aberto): uvx whichllm@latest plan "Qwen2.5-VL-7B-Instruct" mostra a GPU que você precisa, uvx whichllm@latest run "Qwen2.5-VL-7B-Instruct gguf" a baixa e inicia um chat
• Baixe e rode em casa: pesos oficiais · arquivos GGUF para Ollama e LM Studio

Ainda sem votos na Arena

A Arena não votou neste modelo. Ele aparece aqui por ser um modelo pequeno popular na página oficial do laboratório no Hugging Face (6.0M de downloads por mês).

Velocidade em hardware popular

Estimativa com 4 bits e contexto de 32K, com 64 GB de DDR5 para offload. Velocidade ≈ largura de banda da memória × 78% ÷ dados lidos por token, mais um custo fixo por token, calibrada em 44 testes reais com llama.cpp; erro típico de cerca de ±10%. Compare todas as GPUs.

Memória de GPU necessária

Pesos + cache de contexto (a partir da arquitetura do modelo) + runtime. Qualidade: aumento em perplexity em relação ao modelo completo, com base em testes com llama.cpp, ajustado pelo tamanho do modelo. Simule a sua configuração.