In der Free Arena abstimmen

Video··4 Min. Lesezeit·Daten werden automatisch aktualisiert

Aion-1.0-Instruct-2.3B: How to Run It Free

Aion-1.0-Instruct-2.3B is a free, on-device 2.3 B parameter model with a 32 K token context. Learn its capabilities, benchmarks, and who can benefit from…

Was das Video sagt

Microsoft released a 2.3 billion-parameter model that runs on-device. It can handle a 32 K token context, enough for multi-page documents.

Aion-1.0-Instruct-2.3B is Microsoft’s small language model for the Windows ecosystem. The model runs in PyTorch, ONNX and GGUF formats and is released under the MIT license on Hugging Face. It supports English, German, Spanish, Portuguese, Italian, French, Chinese and Japanese, and is built for on-device text generation tasks like summarization, rewriting and chat.

According to the model card, Aion is the foundational Small Language Model for Windows, optimized for responsive, private AI without constant cloud calls. Positional encoding combines RoPE with YaRN scaling, enabling the long 32 K context. Microsoft released the unquantized version first, promising later quantized releases.

The model card lists several benchmark scores. On the MMLU knowledge test the model scored 55.15 percent, while on the multilingual MMMLU it reached 45.51 percent. In math, GSM8K gave 74.91 percent and GSMPlus 49.56 percent. Instruction following measured by IFEval was 83.90 percent, and translation quality (chrF++) was 43.18 percent. These numbers reflect a small model’s performance compared with larger systems.

Because it is only 2.3 B parameters, Aion loads quickly and fits on modest hardware, a RTX 4060 can hold it fully in GPU memory. Token throughput ranges from 135 tokens per second on an RTX 3060 up to 436 tokens per second on an RTX 5090. The model excels at short-form generation and on-device privacy. However, the card warns that small models often miss fine details, struggle with multi-step reasoning and can generate inaccurate statements. Safety alignment is present but not as robust as larger models.

Aion-1.0-Instruct-2.3B is aimed at people who run AI at home and want a free, open model that works offline. Its long context makes it useful for document summarization, email thread analysis and other multi-page tasks. If you need a model that respects privacy and runs on a mid-range GPU, this is a solid choice. Keep in mind its reasoning limits and verify outputs for critical applications.

Was brauchst du, um es zu Hause auszuführen? Bei 4 Bit belegt es etwa 4 Gigabyte Speicher. Der kleinste Heimrechner, der es komplett fasst, ist ein RTX 4060. Auf einem RTX 3060 12 GB mit 32 Gigabyte RAM schreibt es etwa 135 Tokens pro Sekunde. Auf einem RTX 4090 mit 64 Gigabyte RAM schreibt es etwa 303 Tokens pro Sekunde.

Eine kostenlose API gibt es dafür noch nicht. Die Gewichte sind offen: Du kannst sie unter der MIT-Lizenz von Hugging Face herunterladen. Die Arena hat es noch nicht bewertet: Wir tragen die Wertung nach, sobald die Stimmen eintreffen.

Compare Aion 1.0 Instruct 2.3B with every free model, and check what your own GPU can run, on FreeLLMArena.

Die Daten

  • Größe: 2.3B Parameter · Kontext 32K · Speicher bei 4 Bit etwa 4 GB.
  • RTX 3060 12 GB + 32 GB RAM: etwa 135 Tokens/s
  • RTX 4090 + 64 GB RAM: etwa 303 Tokens/s
  • RTX 5090 + 64 GB RAM: etwa 436 Tokens/s
  • Mac M4 Max 128 GB: etwa 129 Tokens/s
  • NVIDIA DGX Spark 128 GB: etwa 106 Tokens/s
  • Ryzen AI Max+ 395 128 GB: etwa 100 Tokens/s
  • Mac Studio M3 Ultra 512 GB: etwa 158 Tokens/s
  • Modellkarte: https://huggingface.co/microsoft/Aion-1.0-Instruct-2.3B
  • Alle kostenlosen Modelle im Vergleich: https://freellmarena.com

Hardware

Speicher bei 4 Bit mit 8K Kontext, aus unserem Simulator. Um deinen eigenen Rechner zu prüfen, nutze den Simulator „Zu Hause ausführen“.

Als Amazon-Partner verdient FreeLLMArena an qualifizierten Käufen; die Links ändern die Zahlen nicht.

Every number in this post comes from the FreeLLMArena data on 18 Nov 2026: Arena votes, Hugging Face sizes and our speed simulator. Download the video and its subtitles.

Kostenlose Rangliste

Alle kostenlosen KI-Modelle im Ranking

Größen, Speicher, Geschwindigkeit auf deiner Grafikkarte und wo du jedes Modell kostenlos nutzen kannst. Jede Nacht aktualisiert.

Rangliste öffnen →

Diese Seite teilen:XLinkedInRedditWhatsApp

Drücke / oder Strg+K, um von jeder Seite aus zu suchen.