Vota in Free Arena

Tutti i modelli › microsoft

Aion-1.0-Instruct-2.3B

microsoft · released 18 Nov 2026

Download Novità · in attesa dei voti su Arena
Punteggio Arena—Non ancora votato su Arena
Dimensione2.3 Bparametri
Download a 4 bit1.4 GBsolo pesi, Q4_K_M
Contesto massimo32Ktoken, dalla configurazione del modello

Dove usarlo gratis

  • Eseguilo in un comando con whichllm (gratis, open source): uvx whichllm@latest plan "Aion-1.0-Instruct-2.3B" mostra la GPU necessaria, uvx whichllm@latest run "Aion-1.0-Instruct-2.3B gguf" la scarica e avvia una chat
  • Scaricalo e usalo a casa: pesi ufficiali · file GGUF per Ollama e LM Studio

Novità: in attesa dei voti su Arena

Released on 18 Nov 2026. Arena has not voted on this model yet. As soon as it does, the model moves into the ranking automatically, usually the next night. Until then you can still check its size, memory needs and speed below.

Velocità sull'hardware più diffuso

HardwareMemoria GPUCi sta?Velocità
RTX 3060 12 GB12 GBEntra nella GPU101 tok/s
RTX 4060 Ti 16 GB16 GBEntra nella GPU82 tok/s
RTX 309024 GBEntra nella GPU225 tok/s
RTX 409024 GBEntra nella GPU239 tok/s
RTX 509032 GBEntra nella GPU358 tok/s
RX 7900 XTX24 GBEntra nella GPU230 tok/s
2 × RTX 309048 GBEntra nella GPU219 tok/s
4 × RTX 309096 GBEntra nella GPU207 tok/s
Mac M4 Max 128 GB96 GBEntra nella GPU106 tok/s
Ryzen AI Max+ 395 128 GB96 GBEntra nella GPU74 tok/s
8 × H100 SXM640 GBEntra nella GPU422 tok/s

Stima a 4 bit con contesto da 32K e 64 GB di DDR5 per lo scarico in RAM. Velocità ≈ banda di memoria × 78% ÷ dati letti per token, più un costo fisso per token, calibrata su 44 test reali con llama.cpp; errore tipico di circa ±10%. Confronta tutte le GPU.

Memoria GPU necessaria

LivelloContesto da 8KContesto da 32KQualità rispetto al modello completo
Q3_K_M2.2 GB2.9 GB+10.5% perdita evidente
Q4_K_M2.4 GB3.1 GB+2.8% piccola perdita
Q5_K_M2.6 GB3.4 GB+0.9% perdita minima
Q6_K2.9 GB3.6 GB+0.3% quasi senza perdita
Q8_03.5 GB4.2 GB≈ 0% uguale al completo
F165.6 GB6.3 GB≈ 0% uguale al completo

Pesi + cache del contesto (dall'architettura del modello) + runtime. Qualità: aumento di perplexity rispetto al modello completo, dai test con llama.cpp, scalato in base alla dimensione del modello. Simula la tua configurazione.

Condividi questa pagina:XLinkedInRedditWhatsApp

Premi / o Ctrl+K per cercare da qualsiasi pagina.