Free Arenaで投票

すべてのモデル › microsoft

Aion-1.0-Instruct-2.3B

microsoft · released 18 Nov 2026

ダウンロード 新着・Arenaの投票待ち
Arenaスコア—Arenaではまだ投票されていません
サイズ2.3 Bパラメータ
4ビットのダウンロード1.4 GB重みのみ、Q4_K_M
最大コンテキスト32Kトークン、モデル設定より

無料で使える場所

新着:Arenaの投票待ち

Released on 18 Nov 2026. Arena has not voted on this model yet. As soon as it does, the model moves into the ranking automatically, usually the next night. Until then you can still check its size, memory needs and speed below.

よく使われるハードウェアでの速度

ハードウェアGPUメモリ収まる?速度
RTX 3060 12 GB12 GBGPUに収まる101 tok/s
RTX 4060 Ti 16 GB16 GBGPUに収まる82 tok/s
RTX 309024 GBGPUに収まる225 tok/s
RTX 409024 GBGPUに収まる239 tok/s
RTX 509032 GBGPUに収まる358 tok/s
RX 7900 XTX24 GBGPUに収まる230 tok/s
2 × RTX 309048 GBGPUに収まる219 tok/s
4 × RTX 309096 GBGPUに収まる207 tok/s
Mac M4 Max 128 GB96 GBGPUに収まる106 tok/s
Ryzen AI Max+ 395 128 GB96 GBGPUに収まる74 tok/s
8 × H100 SXM640 GBGPUに収まる422 tok/s

4ビット、32Kコンテキスト、オフロード用にDDR5を64 GBとした推定値。速度 ≈ メモリ帯域 × 78% ÷ 1トークンあたりの読み込みデータ量に、トークンごとの固定コストを加えたもので、44件の実際の llama.cpp テストで補正しています。典型的な誤差は約±10%です。すべてのGPUを比較。

必要なGPUメモリ

レベル8Kコンテキスト32Kコンテキストフル精度との品質比較
Q3_K_M2.2 GB2.9 GB+10.5% 目立つ劣化
Q4_K_M2.4 GB3.1 GB+2.8% 小さな劣化
Q5_K_M2.6 GB3.4 GB+0.9% ごくわずかな劣化
Q6_K2.9 GB3.6 GB+0.3% ほぼ劣化なし
Q8_03.5 GB4.2 GB≈ 0% フル精度と同等
F165.6 GB6.3 GB≈ 0% フル精度と同等

重み+コンテキストキャッシュ(モデルのアーキテクチャから算出)+ランタイム。品質:フル精度モデルに対するperplexityの増加分で、llama.cpp のテストをもとにモデルサイズに合わせて換算しています。自分の環境をシミュレーション。

このページを共有:XLinkedInRedditWhatsApp

どのページでも / または Ctrl+K で検索できます。