Free Arenaで投票

すべてのモデル › zai

CogVLM2 Llama3 Chat 19B

zai · CogVLM2 license · on Arena since 16 Jul 2024

ラボのチャット ダウンロード
Arenaスコア928ビジョン部門で有料モデルを含む167件中163位
サイズ19.5 Bパラメータ
4ビットのダウンロード12 GB重みのみ、Q4_K_M
最大コンテキスト8Kトークン、モデル設定より

無料で使える場所

Arenaスコア

Arenaスコア順位投票数
ビジョン928167件中163位2K

有料モデルを含む全モデル中の順位。出典:Arenaリーダーボードのデータセット。

よく使われるハードウェアでの速度

ハードウェアGPUメモリ収まる?速度
RTX 3060 12 GB12 GB収まらない—
RTX 4060 Ti 16 GB16 GB収まらない—
RTX 309024 GBGPU+64 GBのRAM9.4 tok/s
RTX 409024 GBGPU+64 GBのRAM9.6 tok/s
RTX 509032 GBGPUに収まる46 tok/s
RX 7900 XTX24 GBGPU+64 GBのRAM9.5 tok/s
2 × RTX 309048 GBGPUに収まる24 tok/s
4 × RTX 309096 GBGPUに収まる23 tok/s
Mac M4 Max 128 GB96 GBGPUに収まる14 tok/s
Ryzen AI Max+ 395 128 GB96 GBGPUに収まる6.8 tok/s
8 × H100 SXM640 GBGPUに収まる68 tok/s

4ビット、32Kコンテキスト、オフロード用にDDR5を64 GBとした推定値。速度 ≈ メモリ帯域 × 78% ÷ 1トークンあたりの読み込みデータ量に、トークンごとの固定コストを加えたもので、44件の実際の llama.cpp テストで補正しています。典型的な誤差は約±10%です。すべてのGPUを比較。

必要なGPUメモリ

レベル8Kコンテキストフル精度との品質比較
Q3_K_M15 GB+8.1% 目立つ劣化
Q4_K_M17 GB+2.2% 小さな劣化
Q5_K_M19 GB+0.7% ごくわずかな劣化
Q6_K21 GB+0.3% ほぼ劣化なし
Q8_026 GB≈ 0% フル精度と同等
F1644 GB≈ 0% フル精度と同等

重み+コンテキストキャッシュ(モデルのアーキテクチャから算出)+ランタイム。品質:フル精度モデルに対するperplexityの増加分で、llama.cpp のテストをもとにモデルサイズに合わせて換算しています。自分の環境をシミュレーション。

ビジョンスコアの推移

CogVLM2 Llama3 Chat 19B 928最高の有料モデル

Arenaスコア(2026年4月22日~2026年10月19日)。

このページを共有:XLinkedInRedditWhatsApp

どのページでも / または Ctrl+K で検索できます。