FreeLLMWie viel GPU-Speicher brauchst du, um ein KI-Modell zu Hause auszuführen?
Eine einfache Erklärung zu Modellgröße, 4-Bit-Dateien, Kontextspeicher und Geschwindigkeit, mit den Zahlen, die unser Simulator verwendet.
Drei Dinge entscheiden, ob ein Modell auf deinem Computer läuft: die Größe seiner Gewichte, der Speicher, den sein Kontext braucht, und die Geschwindigkeit des Speichers deiner Grafikkarte.
1. Die Gewichte
Ein Modell ist eine lange Liste von Zahlen, seine Parameter. In voller Genauigkeit gespeichert, braucht jede 2 Bytes. Fast alle nutzen zu Hause stattdessen eine komprimierte 4-Bit-Datei (das gängige Format heißt Q4_K_M), die etwa 0.6 Bytes pro Parameter braucht, bei geringem Qualitätsverlust.
Grob gesagt also:
| Modellgröße | 4-Bit-Datei | 8-Bit-Datei |
|---|---|---|
| 4 B | 2.4 GB | 4.3 GB |
| 9 B | 5.5 GB | 9.6 GB |
| 14 B | 8.5 GB | 15 GB |
| 31 B | 19 GB | 33 GB |
| 120 B | 73 GB | 128 GB |
2. Der Kontext
Beim Schreiben behält ein Modell ein Gedächtnis des Gesprächs, den KV-Cache. Er wächst mit jedem Token des Gesprächs und hängt davon ab, wie das Modell gebaut ist: Neuere Modelle teilen oder komprimieren diesen Speicher, ältere nicht. Bei 32,000 Tokens kann er unter 1 GB oder über 10 GB liegen.
Wir lesen die echte Architektur jedes Modells aus seiner Konfigurationsdatei auf Hugging Face, um das zu berechnen, statt zu raten.
3. Die Geschwindigkeit
Um ein Token zu schreiben, liest die Karte einmal alle aktiven Gewichte. Die Geschwindigkeit ist also vor allem die Speicherbandbreite geteilt durch die Größe dessen, was sie liest. Eine RTX 4090 liest etwa 1,000 GB/s; ein Modell mit 19 GB ergibt grob 35 bis 40 Tokens pro Sekunde, schneller, als irgendwer liest.
Mixture-of-Experts-Modelle lesen pro Token nur einen Teil ihrer Gewichte, sind also viel schneller, als ihre Größe vermuten lässt.
Mehrere Karten oder System-RAM
Bei zwei oder mehr Karten verteilen Tools wie llama.cpp und Ollama die Schichten auf sie. Du bekommst den Speicher aller Karten zusammen, aber die Geschwindigkeit bleibt nah an der einer Karte.
Wenn ein Modell nicht passt, kann ein Teil davon im System-RAM liegen. Das funktioniert, aber RAM ist 10 bis 20-mal langsamer als GPU-Speicher, die Geschwindigkeit sinkt also stark.
Ausprobieren
Der Simulator „Zu Hause ausführen“ macht das alles für deine genaue Karte, Kartenzahl und deinen RAM und zeigt das bestbewertete Modell, das passt. Es gibt außerdem 68 kleine Modelle für Karten mit 4 bis 12 GB, über die die Arena noch nicht abgestimmt hat; wir kennzeichnen sie deutlich.
Was kann deine GPU ausführen?
Wähle deine Karte und sieh, wie viel Speicher jedes Modell braucht, ob es passt und wie schnell es etwa läuft.