Aion-1.0-Instruct-2.3B: How to Run It Free
Aion-1.0-Instruct-2.3B is a free, on-device 2.3 B parameter model with a 32 K token context. Learn its capabilities, benchmarks, and who can benefit from…
Ce que dit la vidéo
Microsoft released a 2.3 billion-parameter model that runs on-device. It can handle a 32 K token context, enough for multi-page documents.
Aion-1.0-Instruct-2.3B is Microsoft’s small language model for the Windows ecosystem. The model runs in PyTorch, ONNX and GGUF formats and is released under the MIT license on Hugging Face. It supports English, German, Spanish, Portuguese, Italian, French, Chinese and Japanese, and is built for on-device text generation tasks like summarization, rewriting and chat.
According to the model card, Aion is the foundational Small Language Model for Windows, optimized for responsive, private AI without constant cloud calls. Positional encoding combines RoPE with YaRN scaling, enabling the long 32 K context. Microsoft released the unquantized version first, promising later quantized releases.
The model card lists several benchmark scores. On the MMLU knowledge test the model scored 55.15 percent, while on the multilingual MMMLU it reached 45.51 percent. In math, GSM8K gave 74.91 percent and GSMPlus 49.56 percent. Instruction following measured by IFEval was 83.90 percent, and translation quality (chrF++) was 43.18 percent. These numbers reflect a small model’s performance compared with larger systems.
Because it is only 2.3 B parameters, Aion loads quickly and fits on modest hardware, a RTX 4060 can hold it fully in GPU memory. Token throughput ranges from 135 tokens per second on an RTX 3060 up to 436 tokens per second on an RTX 5090. The model excels at short-form generation and on-device privacy. However, the card warns that small models often miss fine details, struggle with multi-step reasoning and can generate inaccurate statements. Safety alignment is present but not as robust as larger models.
Aion-1.0-Instruct-2.3B is aimed at people who run AI at home and want a free, open model that works offline. Its long context makes it useful for document summarization, email thread analysis and other multi-page tasks. If you need a model that respects privacy and runs on a mid-range GPU, this is a solid choice. Keep in mind its reasoning limits and verify outputs for critical applications.
Que faut-il pour le faire tourner chez vous ? En 4 bits, il prend environ 4 gigaoctets de mémoire. La plus petite machine personnelle qui le contient entièrement est RTX 4060. Sur RTX 3060 12 GB avec 32 gigaoctets de RAM, il écrit environ 135 tokens par seconde. Sur RTX 4090 avec 64 gigaoctets de RAM, il écrit environ 303 tokens par seconde.
Il n'existe pas encore d'API gratuite. Les poids sont ouverts : vous pouvez les télécharger sur Hugging Face sous licence MIT. Arena ne l'a pas encore classé : nous ajoutons le score dès que les votes arrivent.
Compare Aion 1.0 Instruct 2.3B with every free model, and check what your own GPU can run, on FreeLLMArena.
Les données
- Taille : 2.3B de paramètres · contexte 32K · mémoire en 4 bits : environ 4 GB.
- RTX 3060 12 GB + 32 GB de RAM : environ 135 tokens/s
- RTX 4090 + 64 GB de RAM : environ 303 tokens/s
- RTX 5090 + 64 GB de RAM : environ 436 tokens/s
- Mac M4 Max 128 GB : environ 129 tokens/s
- NVIDIA DGX Spark 128 GB : environ 106 tokens/s
- Ryzen AI Max+ 395 128 GB : environ 100 tokens/s
- Mac Studio M3 Ultra 512 GB : environ 158 tokens/s
- Fiche du modèle : https://huggingface.co/microsoft/Aion-1.0-Instruct-2.3B
- Tous les modèles gratuits, comparés : https://freellmarena.com
Matériel
Mémoire en 4 bits avec un contexte de 8K, d'après notre simulateur. Pour vérifier votre propre configuration, utilisez le simulateur En local.
- Aion-1.0-Instruct-2.3B : environ 4 GB en 4 bits · plus petite machine personnelle qui le contient : RTX 4060 (8 GB) · Amazon ↗
- RTX 3060 12 GB + 32 GB de RAM : Aion-1.0-Instruct-2.3B, environ 135 tokens/s (entièrement sur le GPU) · Amazon ↗
- RTX 4090 (24 GB) + 64 GB de RAM : Aion-1.0-Instruct-2.3B, environ 303 tokens/s (entièrement sur le GPU) · Amazon ↗
- RTX 5090 (32 GB) + 64 GB de RAM : Aion-1.0-Instruct-2.3B, environ 436 tokens/s (entièrement sur le GPU) · Amazon ↗
- Mac M4 Max 128 GB : Aion-1.0-Instruct-2.3B, environ 129 tokens/s (entièrement sur le GPU) · Amazon ↗
- NVIDIA DGX Spark 128 GB : Aion-1.0-Instruct-2.3B, environ 106 tokens/s (entièrement sur le GPU) · Amazon ↗
- Ryzen AI Max+ 395 128 GB : Aion-1.0-Instruct-2.3B, environ 100 tokens/s (entièrement sur le GPU) · Amazon ↗
- Mac Studio M3 Ultra 512 GB : Aion-1.0-Instruct-2.3B, environ 158 tokens/s (entièrement sur le GPU) · Amazon ↗
En tant que Partenaire Amazon, FreeLLMArena réalise un bénéfice sur les achats remplissant les conditions requises ; les liens ne modifient pas les chiffres.
Every number in this post comes from the FreeLLMArena data on 18 Nov 2026: Arena votes, Hugging Face sizes and our speed simulator. Download the video and its subtitles.
Tous les modèles d'IA gratuits, classés
Tailles, mémoire, vitesse sur votre GPU et où utiliser gratuitement chaque modèle. Mis à jour chaque nuit.