Vote na Free Arena

Todos os modelos › microsoft

Aion-1.0-Instruct-2.3B

microsoft · released 18 Nov 2026

Download Novo · aguardando votos da Arena
Pontuação Arena—Ainda sem votos na Arena
Tamanho2.3 Bparâmetros
Download de 4 bits1.4 GBsó os pesos, Q4_K_M
Contexto máximo32Ktokens, segundo a configuração do modelo

Onde usar de graça

  • Execute em um comando com whichllm (gratuito, código aberto): uvx whichllm@latest plan "Aion-1.0-Instruct-2.3B" mostra a GPU que você precisa, uvx whichllm@latest run "Aion-1.0-Instruct-2.3B gguf" a baixa e inicia um chat
  • Baixe e rode em casa: pesos oficiais · arquivos GGUF para Ollama e LM Studio

Novo: aguardando votos da Arena

Released on 18 Nov 2026. Arena has not voted on this model yet. As soon as it does, the model moves into the ranking automatically, usually the next night. Until then you can still check its size, memory needs and speed below.

Velocidade em hardware popular

HardwareMemória da GPUCabe?Velocidade
RTX 3060 12 GB12 GBCabe na GPU101 tok/s
RTX 4060 Ti 16 GB16 GBCabe na GPU82 tok/s
RTX 309024 GBCabe na GPU225 tok/s
RTX 409024 GBCabe na GPU239 tok/s
RTX 509032 GBCabe na GPU358 tok/s
RX 7900 XTX24 GBCabe na GPU230 tok/s
2 × RTX 309048 GBCabe na GPU219 tok/s
4 × RTX 309096 GBCabe na GPU207 tok/s
Mac M4 Max 128 GB96 GBCabe na GPU106 tok/s
Ryzen AI Max+ 395 128 GB96 GBCabe na GPU74 tok/s
8 × H100 SXM640 GBCabe na GPU422 tok/s

Estimativa com 4 bits e contexto de 32K, com 64 GB de DDR5 para offload. Velocidade ≈ largura de banda da memória × 78% ÷ dados lidos por token, mais um custo fixo por token, calibrada em 44 testes reais com llama.cpp; erro típico de cerca de ±10%. Compare todas as GPUs.

Memória de GPU necessária

NívelContexto de 8KContexto de 32KQualidade vs. completo
Q3_K_M2.2 GB2.9 GB+10.5% perda perceptível
Q4_K_M2.4 GB3.1 GB+2.8% perda pequena
Q5_K_M2.6 GB3.4 GB+0.9% perda muito pequena
Q6_K2.9 GB3.6 GB+0.3% quase sem perda
Q8_03.5 GB4.2 GB≈ 0% igual ao completo
F165.6 GB6.3 GB≈ 0% igual ao completo

Pesos + cache de contexto (a partir da arquitetura do modelo) + runtime. Qualidade: aumento em perplexity em relação ao modelo completo, com base em testes com llama.cpp, ajustado pelo tamanho do modelo. Simule a sua configuração.

Compartilhe esta página:XLinkedInRedditWhatsApp

Pressione / ou Ctrl+K para pesquisar de qualquer página.