Voter dans Free Arena

Tous les modèles › microsoft

Aion-1.0-Instruct-2.3B

microsoft · released 18 Nov 2026

Télécharger Nouveau · en attente de votes Arena
Score Arena—Pas encore de vote sur Arena
Taille2.3 Bparamètres
Téléchargement en 4 bits1.4 GBpoids seuls, Q4_K_M
Contexte max.32Ktokens, d'après la configuration du modèle

Où l'utiliser gratuitement

  • Exécutez-le en une seule commande avec whichllm (gratuit, open source) : uvx whichllm@latest plan "Aion-1.0-Instruct-2.3B" indique le GPU requis, uvx whichllm@latest run "Aion-1.0-Instruct-2.3B gguf" le télécharge et lance une discussion
  • Téléchargez-le et lancez-le chez vous : poids officiels · fichiers GGUF pour Ollama et LM Studio

Nouveau : en attente de votes Arena

Released on 18 Nov 2026. Arena has not voted on this model yet. As soon as it does, the model moves into the ranking automatically, usually the next night. Until then you can still check its size, memory needs and speed below.

Vitesse sur du matériel courant

MatérielMémoire GPUÇa tient ?Vitesse
RTX 3060 12 GB12 GBTient dans le GPU101 tok/s
RTX 4060 Ti 16 GB16 GBTient dans le GPU82 tok/s
RTX 309024 GBTient dans le GPU225 tok/s
RTX 409024 GBTient dans le GPU239 tok/s
RTX 509032 GBTient dans le GPU358 tok/s
RX 7900 XTX24 GBTient dans le GPU230 tok/s
2 × RTX 309048 GBTient dans le GPU219 tok/s
4 × RTX 309096 GBTient dans le GPU207 tok/s
Mac M4 Max 128 GB96 GBTient dans le GPU106 tok/s
Ryzen AI Max+ 395 128 GB96 GBTient dans le GPU74 tok/s
8 × H100 SXM640 GBTient dans le GPU422 tok/s

Estimation en 4 bits avec un contexte de 32K et 64 GB de DDR5 pour le déchargement. Vitesse ≈ bande passante mémoire × 78 % ÷ données lues par token, plus un coût fixe par token, calibrée sur 44 tests llama.cpp réels ; erreur typique d'environ ±10 %. Comparer tous les GPU.

Mémoire GPU nécessaire

NiveauContexte de 8KContexte de 32KQualité vs original
Q3_K_M2.2 GB2.9 GB+10.5% perte sensible
Q4_K_M2.4 GB3.1 GB+2.8% faible perte
Q5_K_M2.6 GB3.4 GB+0.9% très faible perte
Q6_K2.9 GB3.6 GB+0.3% quasi sans perte
Q8_03.5 GB4.2 GB≈ 0% identique à l'original
F165.6 GB6.3 GB≈ 0% identique à l'original

Poids + cache de contexte (d'après l'architecture du modèle) + runtime. Qualité : hausse de perplexity par rapport au modèle complet, d'après les tests llama.cpp, ajustée selon la taille du modèle. Simulez votre propre configuration.

Partager cette page :XLinkedInRedditWhatsApp

Appuyez sur / ou Ctrl+K pour rechercher depuis n’importe quelle page.