Free Arenaで投票

すべてのモデル › ibm-granite

granite-switch-4.1-8b

ibm-granite · 2026年10月14日公開

ダウンロード 新着・Arenaの投票待ち
Arenaスコア—Arenaではまだ投票されていません
サイズ8.8 Bパラメータ
4ビットのダウンロード5.3 GB重みのみ、Q4_K_M
最大コンテキスト128Kトークン、モデル設定より

無料で使える場所

新着:Arenaの投票待ち

2026年10月14日に公開。Arenaではまだこのモデルへの投票がありません。投票が入ると、通常は翌晩に自動でランキングに加わります。それまでも、サイズ、必要メモリ、速度は下記で確認できます。

よく使われるハードウェアでの速度

ハードウェアGPUメモリ収まる?速度
RTX 3060 12 GB12 GBGPUに収まる25 tok/s
RTX 4060 Ti 16 GB16 GBGPUに収まる20 tok/s
RTX 309024 GBGPUに収まる62 tok/s
RTX 409024 GBGPUに収まる67 tok/s
RTX 509032 GBGPUに収まる113 tok/s
RX 7900 XTX24 GBGPUに収まる64 tok/s
2 × RTX 309048 GBGPUに収まる61 tok/s
4 × RTX 309096 GBGPUに収まる57 tok/s
Mac M4 Max 128 GB96 GBGPUに収まる34 tok/s
Ryzen AI Max+ 395 128 GB96 GBGPUに収まる18 tok/s
8 × H100 SXM640 GBGPUに収まる159 tok/s

4ビット、32Kコンテキスト、オフロード用にDDR5を64 GBとした推定値。速度 ≈ メモリ帯域 × 78% ÷ 1トークンあたりの読み込みデータ量に、トークンごとの固定コストを加えたもので、44件の実際の llama.cpp テストで補正しています。典型的な誤差は約±10%です。すべてのGPUを比較。

必要なGPUメモリ

レベル8Kコンテキスト32Kコンテキスト128Kコンテキストフル精度との品質比較
Q3_K_M6.4 GB11 GB28 GB+10.2% 目立つ劣化
Q4_K_M7.3 GB12 GB28 GB+2.7% 小さな劣化
Q5_K_M8.3 GB12 GB29 GB+0.9% ごくわずかな劣化
Q6_K9.2 GB13 GB30 GB+0.3% ほぼ劣化なし
Q8_011 GB16 GB32 GB≈ 0% フル精度と同等
F1620 GB24 GB41 GB≈ 0% フル精度と同等

重み+コンテキストキャッシュ(モデルのアーキテクチャから算出)+ランタイム。品質:フル精度モデルに対するperplexityの増加分で、llama.cpp のテストをもとにモデルサイズに合わせて換算しています。自分の環境をシミュレーション。

このページを共有:XLinkedInRedditWhatsApp

どのページでも / または Ctrl+K で検索できます。