自宅でAIモデルを動かすのに、GPUメモリはどれくらい必要？

モデルは文章を書いている間、会話の記憶を保持しています。これをKVキャッシュと呼びます。会話のトークンが増えるたびに大きくなり、モデルの作りにも左右されます。新しいモデルはこのメモリを共有または圧縮しますが、古いモデルはそうしません。32,000トークンでは、1 GB未満にも10 GB以上にもなります。

推測するのではなく、Hugging Faceにある各モデルの設定ファイルから、実際のアーキテクチャを読み取って計算しています。

1トークンを書くために、カードはアクティブな重みをすべて1回読み込みます。そのため速度は、おもにメモリ帯域を読み込む量で割ったものになります。RTX 4090は約1,000 GB/sを読み込めるので、19 GBのモデルなら毎秒およそ35～40トークンで、誰が読むよりも速い速度です。

Mixture of Experts モデルは、1トークンごとに重みの一部しか読み込まないため、サイズから想像するよりずっと高速です。

カードが2枚以上あれば、llama.cpp や Ollama などのツールがレイヤーを分割して振り分けます。すべてのカードのメモリを合わせて使えますが、速度は1枚分に近いままです。

モデルが収まらない場合は、一部をシステムRAMに置くことができます。動きますが、RAMはGPUメモリより10～20倍遅いため、速度は大きく落ちます。

自宅で動かすシミュレーターは、カードの種類、枚数、RAMごとにこれらをすべて計算し、収まるモデルのうち最も投票を集めたものを表示します。Arenaでまだ投票されていない、4～12 GBのカード向けの小型モデルも68件あり、はっきり区別して表示しています。