ローカルAI向けGPU比較

4ビットでは、モデルに10億パラメータあたり約0.6 GB、さらにコンテキストキャッシュとランタイム用に約1 GBが必要です。8 Bモデルは8 GBに収まり、27～32 Bモデルは約20～24 GB、70 Bモデルは約45 GB（24 GBのカード2枚）が必要です。「最大のモデル」の列は、8Kコンテキストでこの計算を各カードについて行ったものです。

モデルが文章を書くとき、新しい単語ごとに、アクティブな重みをすべて1回メモリから読み込みます。そのため速度は、おおよそ帯域をアクティブな重みのサイズで割ったものになります。だからRTX 3090（936 GB/s）は、より新しいミドルレンジのカードの多くよりも、今でも速く書けるのです。

ローカルLLMには、コスパが最も良いことが多いカードです。24 GBで帯域も高いからです。ただし消費電力が大きく（350 W）、中古だと保証がありません。新品の16 GBのカードと価格を比べてください。16 GBでは、4ビットで実用的なコンテキストを使う27～32 Bモデルには足りません。

NVIDIAは、最も幅広いソフトウェア対応（CUDA）があります。AMDのカードは llama.cpp、Ollama、LM Studio（ROCmまたはVulkan）でよく動き、同じ価格でメモリが多いことがよくあります。Apple Silicon と AMD Ryzen AI Max のマシンはCPUとGPUでメモリを共有するため、非常に大きなモデルを読み込めますが、大型のデスクトップGPUより書く速度は遅くなります。

カード2枚ではメモリが合算されるため、70 Bモデルが24 GBのカード2枚に収まります。速度は2倍にはなりません。カードが交代で処理するため、1枚分よりわずかに遅い程度の速度になります。上で「2枚」を選ぶと、数値を確認できます。

推定値です。メモリ帯域 × 78% ÷ 1語ごとに読み込むデータ量に、1語ごとの固定コスト（約1 ms、Mixture of Experts モデルでは2.8 ms、Appleではさらに大きい）を加えたもので、4ビット（Q4_K_M）、8Kコンテキストでの値です。この式を、44件の実際の llama.cpp テストと照らし合わせたところ、誤差の中央値は9%で、44件中42件が±30%以内でした。実際の数値は、ソフトウェアのバージョン、ドライバー（AMDではVulkanのほうがROCmより速いことが多い）、設定にも左右されます。カードを比べる目安としてお使いください。正確な値ではありません。