Free Arenaで投票
メニュー

すべてのモデル › inclusionAI

Ling-3.0-tiny

inclusionAI · オープンライセンス · 2026年8月10日公開

ダウンロード Arenaの投票なし
Arenaスコア—Arenaではまだ投票されていません
サイズ7.9 B1トークンあたり1.4 Bがアクティブ（Mixture of Experts）
4ビットのダウンロード4.8 GB重みのみ、Q4_K_M
最大コンテキスト128Kトークン、モデル設定より

無料で使える場所

Arenaの投票はまだありません

Arenaではこのモデルへの投票はありません。開発元の公式Hugging Faceページで人気の小型モデルのため掲載しています（月間11Kダウンロード）。

よく使われるハードウェアでの速度

ハードウェアGPUメモリ収まる？速度
RTX 3060 12 GB12 GBGPUに収まる111 tok/s
RTX 4060 Ti 16 GB16 GBGPUに収まる94 tok/s
RTX 309024 GBGPUに収まる192 tok/s
RTX 409024 GBGPUに収まる199 tok/s
RTX 509032 GBGPUに収まる247 tok/s
RX 7900 XTX24 GBGPUに収まる194 tok/s
2 × RTX 309048 GBGPUに収まる187 tok/s
4 × RTX 309096 GBGPUに収まる176 tok/s
Mac M4 Max 128 GB96 GBGPUに収まる94 tok/s
Ryzen AI Max+ 395 128 GB96 GBGPUに収まる86 tok/s
8 × H100 SXM640 GBGPUに収まる238 tok/s

4ビット、32Kコンテキスト、オフロード用にDDR5を64 GBとした推定値。速度 ≈ メモリ帯域 × 78% ÷ 1トークンあたりの読み込みデータ量に、トークンごとの固定コストを加えたもので、44件の実際の llama.cpp テストで補正しています。典型的な誤差は約±10%です。すべてのGPUを比較。

必要なGPUメモリ

レベル8Kコンテキスト32Kコンテキスト128Kコンテキストフル精度との品質比較
Q3_K_M4.8 GB5.5 GB8.2 GB+10.5% 目立つ劣化
Q4_K_M5.6 GB6.3 GB9.0 GB+2.8% 小さな劣化
Q5_K_M6.4 GB7.1 GB9.8 GB+0.9% ごくわずかな劣化
Q6_K7.3 GB8.0 GB11 GB+0.3% ほぼ劣化なし
Q8_09.2 GB9.9 GB13 GB≈ 0% フル精度と同等
F1617 GB17 GB20 GB≈ 0% フル精度と同等

重み＋コンテキストキャッシュ（モデルのアーキテクチャから算出）＋ランタイム。品質：フル精度モデルに対するperplexityの増加分で、llama.cpp のテストをもとにモデルサイズに合わせて換算しています。自分の環境をシミュレーション。

このページを共有：XLinkedInRedditWhatsApp

数字の誤りやリンク切れを見つけましたか？間違いを報告

どのページでも / または Ctrl+K で検索できます。