What is the best free AI model for the RX 7900 XT?

Qwen3.8-27B (Arena score 1441) is the highest-voted open model that fits entirely in 20 GB of video memory at 4-bit, writing about 35 tokens per second.

How big a model can the RX 7900 XT run?

About 29 billion parameters for a dense model at 4-bit with an 8K context, fully on the GPU. Mixture-of-experts models can be bigger, and with 64 GB of system RAM larger models still run, more slowly.

Is the RX 7900 XT good for local LLMs?

It has 20 GB of memory and 800 GB/s of bandwidth. Memory decides which models fit; bandwidth decides how fast they write. With 16 GB it runs models up to about 20 B fully on the GPU; 27–32 B models need help from system RAM.

Grafikkarten › AMD

Beste kostenlose KI-Modelle für die RX 7900 XT

RX 7900 XT: 20 GB Videospeicher, 800 GB/s. Das sind die kostenlosen Modelle, die darauf laufen, gerankt nach Arena-Stimmen, mit der Geschwindigkeit, die du erwarten kannst.

Simuliere dein Setup · Preis bei Amazon prüfen ↗ · Alle Grafikkarten vergleichen

Bestbewertetes Modell, das passtQwen3.8-27BArena 1441 · ~35 Tokens/s

Größtes dichtes Modell~29 Bbei 4-Bit, 8K Kontext, komplett auf der GPU

Speicher20 GB800 GB/s Bandbreite

Mit zwei KartenGemma 4 31B40 GB · ~28 Tokens/s

Bewertete Modelle, die komplett in die GPU passen

Modell	Arena-Wertung	Größe	4-Bit-Datei	Tokens/s
Qwen3.8-27B alibaba	1441	27.8 B	18 GB	35
Gemma 4 26B A4B google · MoE, 4 B aktiv	1434	25.8 B	17 GB	132
Qwen3.5-27B alibaba	1409	27.8 B	18 GB	35
gemma-3-27b-it google	1358	27.4 B	18 GB	34

Größere Modelle mit Hilfe von 64 GB System-RAM

Ein Teil des Modells liegt im Systemspeicher, der viel langsamer ist als der Videospeicher.

Modell	Arena-Wertung	Größe	4-Bit-Datei	Tokens/s
Gemma 4 31B google	1443	31.3 B	20 GB	18
GLM-4.6V zai · MoE, 14.3 B aktiv	1376	107.7 B	66 GB	11
GLM-4.5V zai · MoE, 14.3 B aktiv	1333	107.7 B	66 GB	11

Beliebte kleine Modelle

Offizielle kleine Modelle ohne Arena-Stimmen, sortiert nach Downloads auf Hugging Face (Beliebtheit, nicht Qualität).

Modell	Downloads/Monat	Größe	4-Bit-Datei	Tokens/s
Qwen3-0.6B Qwen	28.6M	0.8 B	1.7 GB	305
Qwen3-4B Qwen	11.7M	4 B	3.6 GB	147
Qwen3-8B Qwen	8.8M	8.2 B	6.2 GB	92
Qwen3-14B Qwen	8.7M	14.8 B	10 GB	57
Qwen3.5-4B Qwen	7.8M	4.7 B	4.0 GB	167
Qwen3.5-9B Qwen	7.3M	9.7 B	7.1 GB	92

Schätzungen bei 4-Bit (Q4_K_M) mit 8K Kontext, kalibriert an 44 echten llama.cpp-Tests (typische Abweichung etwa ±10 %). Tokens pro Sekunde: etwa 10 entspricht der Lesegeschwindigkeit. Als Amazon-Partner verdient FreeLLMArena an qualifizierten Käufen; die Links ändern die Ranglisten nicht.

Fragen

Welches ist das beste kostenlose KI-Modell für die RX 7900 XT?

Qwen3.8-27B (Arena-Wertung 1441) ist das am besten bewertete offene Modell, das bei 4-Bit komplett in 20 GB Videospeicher passt, und schreibt etwa 35 Tokens pro Sekunde.

Wie groß darf ein Modell sein, das die RX 7900 XT ausführt?

Etwa 29 Milliarden Parameter bei einem dichten Modell mit 4-Bit und 8K Kontext, komplett auf der GPU. Mixture-of-Experts-Modelle können größer sein, und mit 64 GB System-RAM laufen noch größere Modelle, nur langsamer.

Ist die RX 7900 XT gut für lokale LLMs?

Sie hat 20 GB Speicher und 800 GB/s Bandbreite. Der Speicher entscheidet, welche Modelle passen; die Bandbreite, wie schnell sie schreiben. Mit 16 GB laufen Modelle bis etwa 20 B komplett auf der GPU; Modelle mit 27–32 B brauchen Hilfe vom System-RAM.

Beste kostenlose KI-Modelle für die RX 7900 XT

Bewertete Modelle, die komplett in die GPU passen

Größere Modelle mit Hilfe von 64 GB System-RAM

Beliebte kleine Modelle

Fragen

Ähnliche Karten