お使いのハードウェアで動く最高のモデル

メモリ = 重み（パラメータ数 × 選んだ精度での1重みあたりのバイト数）＋ コンテキストキャッシュ（Hugging Face上の各モデルの実際のアーキテクチャ、つまりレイヤー数、アテンションヘッド、スライディングウィンドウから算出）＋ ランタイム用にカード1枚あたり約0.6 GB。画像・動画モデルには、テキストエンコーダーとデコーダー用にさらに3 GBを加えます。

速度：1トークンを書くたびに、アクティブな重みとキャッシュを1回読み込むため、トークン/秒 ≈ メモリ帯域 × 78% ÷ 読み込むデータ量に、トークンごとの固定コスト（約1 ms、エキスパートも選ぶ Mixture of Experts モデルでは2.8 ms、Appleではさらに大きい）を加えたものになります。Mixture of Experts モデルは、アクティブなエキスパートだけを読み込みます。複数のカードでは（llama.cpp と Ollama はレイヤーを振り分けます）、速度は1枚分に近いままです。重みがシステムRAMにある場合、そのRAM分ははるかに遅くなります。この式は、44件の実際の llama.cpp テスト（出典つき一覧）で補正しており、典型的な誤差は約±10%、一部のケースでは最大±40%です。

Apple、AMD Ryzen AI Max、DGX Spark はシステムとメモリを共有するため、その75%を計上しています。