granite-3.3-8b-instruct

Onde usar de graça

• Baixe e rode em casa: pesos oficiais · arquivos GGUF para Ollama e LM Studio

Ainda sem votos na Arena

A Arena ainda não votou neste modelo. Ele aparece aqui por ser um modelo pequeno popular na página oficial do laboratório no Hugging Face (88K downloads por mês).

Velocidade em hardware popular

Estimativa com 4 bits e contexto de 32K, com 64 GB de DDR5 para offload. Velocidade ≈ largura de banda da memória × 78% ÷ dados lidos por token, mais um custo fixo por token, calibrada em 44 testes reais com llama.cpp; erro típico de cerca de ±10%. Compare todas as GPUs.

Memória de GPU necessária

Pesos + cache de contexto (a partir da arquitetura do modelo) + runtime. Qualidade: aumento em perplexity em relação ao modelo completo, com base em testes com llama.cpp, ajustado pelo tamanho do modelo. Simule a sua configuração.