Grafikkarten für lokale KI im Vergleich

Bei 4-Bit braucht ein Modell etwa 0.6 GB pro Milliarde Parameter, plus Kontext-Cache und etwa 1 GB für die Laufzeit. Ein 8-B-Modell passt in 8 GB, ein 27–32-B-Modell braucht etwa 20–24 GB, ein 70-B-Modell braucht etwa 45 GB (zwei Karten mit 24 GB). Die Spalte „Größtes Modell“ rechnet das für jede Karte bei 8K Kontext aus.

Wenn ein Modell schreibt, liest jedes neue Wort einmal alle aktiven Gewichte aus dem Speicher. Die Geschwindigkeit ist also grob die Bandbreite geteilt durch die Größe der aktiven Gewichte. Deshalb schreibt eine RTX 3090 (936 GB/s) immer noch schneller als viele neuere Mittelklasse-Karten.

Für lokale LLMs ist sie oft das beste Preis-Leistungs-Verhältnis: 24 GB und hohe Bandbreite. Sie braucht viel Strom (350 W) und hat gebraucht keine Garantie. Vergleiche den Preis mit einer neuen Karte mit 16 GB: 16 GB reichen für 27–32-B-Modelle bei 4-Bit mit nutzbarem Kontext nicht.

NVIDIA hat die breiteste Software-Unterstützung (CUDA). AMD-Karten laufen gut mit llama.cpp, Ollama und LM Studio (ROCm oder Vulkan) und bieten oft mehr Speicher fürs Geld. Apple Silicon und AMD Ryzen AI Max teilen den Speicher zwischen CPU und GPU, können also sehr große Modelle laden, schreiben aber langsamer als eine große Desktop-GPU.

Zwei Karten addieren ihren Speicher, ein 70-B-Modell passt also auf zwei Karten mit 24 GB. Die Geschwindigkeit verdoppelt sich nicht: Die Karten arbeiten abwechselnd, du bekommst also etwa die Geschwindigkeit einer Karte, etwas weniger. Wähle oben „2 Karten“, um die Zahlen zu sehen.

Es sind Schätzungen: Speicherbandbreite × 78 % ÷ pro Wort gelesene Daten, plus feste Kosten pro Wort (etwa 1 ms, 2.8 ms bei Mixture-of-Experts-Modellen, mehr bei Apple), bei 4-Bit (Q4_K_M) mit 8K Kontext. Wir haben die Formel an 44 echten llama.cpp-Tests geprüft: Die Median-Abweichung beträgt 9 %, und 42 von 44 liegen innerhalb von ±30 %. Echte Werte hängen auch von der Softwareversion, den Treibern (bei AMD ist Vulkan oft schneller als ROCm) und den Einstellungen ab. Nutze sie, um Karten zu vergleichen, nicht als exakte Zahlen.