Free Arenaで投票

動画··読了時間 4分·データは自動更新

Aion-1.0-Instruct-2.3B: How to Run It Free

Aion-1.0-Instruct-2.3B is a free, on-device 2.3 B parameter model with a 32 K token context. Learn its capabilities, benchmarks, and who can benefit from…

動画の内容

Microsoft released a 2.3 billion-parameter model that runs on-device. It can handle a 32 K token context, enough for multi-page documents.

Aion-1.0-Instruct-2.3B is Microsoft’s small language model for the Windows ecosystem. The model runs in PyTorch, ONNX and GGUF formats and is released under the MIT license on Hugging Face. It supports English, German, Spanish, Portuguese, Italian, French, Chinese and Japanese, and is built for on-device text generation tasks like summarization, rewriting and chat.

According to the model card, Aion is the foundational Small Language Model for Windows, optimized for responsive, private AI without constant cloud calls. Positional encoding combines RoPE with YaRN scaling, enabling the long 32 K context. Microsoft released the unquantized version first, promising later quantized releases.

The model card lists several benchmark scores. On the MMLU knowledge test the model scored 55.15 percent, while on the multilingual MMMLU it reached 45.51 percent. In math, GSM8K gave 74.91 percent and GSMPlus 49.56 percent. Instruction following measured by IFEval was 83.90 percent, and translation quality (chrF++) was 43.18 percent. These numbers reflect a small model’s performance compared with larger systems.

Because it is only 2.3 B parameters, Aion loads quickly and fits on modest hardware, a RTX 4060 can hold it fully in GPU memory. Token throughput ranges from 135 tokens per second on an RTX 3060 up to 436 tokens per second on an RTX 5090. The model excels at short-form generation and on-device privacy. However, the card warns that small models often miss fine details, struggle with multi-step reasoning and can generate inaccurate statements. Safety alignment is present but not as robust as larger models.

Aion-1.0-Instruct-2.3B is aimed at people who run AI at home and want a free, open model that works offline. Its long context makes it useful for document summarization, email thread analysis and other multi-page tasks. If you need a model that respects privacy and runs on a mid-range GPU, this is a solid choice. Keep in mind its reasoning limits and verify outputs for critical applications.

自宅で動かすには何が必要でしょうか。4ビットでは約4ギガバイトのメモリを使います。完全に収まる最小の家庭用マシンはRTX 4060です。RTX 3060 12 GBとRAM 32ギガバイトでは、毎秒約135トークンで書きます。RTX 4090とRAM 64ギガバイトでは、毎秒約303トークンで書きます。

無料のAPIはまだありません。重みは公開されており、MITライセンスでHugging Faceからダウンロードできます。Arenaではまだ順位がついていません。投票が集まり次第、スコアを追加します。

Compare Aion 1.0 Instruct 2.3B with every free model, and check what your own GPU can run, on FreeLLMArena.

データ

  • サイズ:パラメータ2.3B · コンテキスト32K · 4ビットのメモリ約4 GB。
  • RTX 3060 12 GB+RAM 32 GB:約135トークン/秒
  • RTX 4090+RAM 64 GB:約303トークン/秒
  • RTX 5090+RAM 64 GB:約436トークン/秒
  • Mac M4 Max 128 GB:約129トークン/秒
  • NVIDIA DGX Spark 128 GB:約106トークン/秒
  • Ryzen AI Max+ 395 128 GB:約100トークン/秒
  • Mac Studio M3 Ultra 512 GB:約158トークン/秒
  • モデルカード:https://huggingface.co/microsoft/Aion-1.0-Instruct-2.3B
  • 無料モデルをすべて比較:https://freellmarena.com

ハードウェア

4ビット、8Kコンテキストでのメモリ使用量(当サイトのシミュレーターによる)。ご自身の環境を確かめるには、自宅で動かすシミュレーターをお使いください。

FreeLLMArena は Amazon アソシエイトとして適格販売により収入を得ています。リンクが数値に影響することはありません。

Every number in this post comes from the FreeLLMArena data on 18 Nov 2026: Arena votes, Hugging Face sizes and our speed simulator. Download the video and its subtitles.

無料ランキング

すべての無料AIモデルをランキング

サイズ、メモリ、お使いのGPUでの速度、各モデルを無料で使える場所。毎晩更新。

ランキングを開く →

このページを共有:XLinkedInRedditWhatsApp

どのページでも / または Ctrl+K で検索できます。