What is the best free AI model for the H200?

Gemma 4 31B (Arena score 1443) is the highest-voted open model that fits entirely in 141 GB of video memory at 4-bit, writing about 150 tokens per second.

How big a model can the H200 run?

About 218 billion parameters for a dense model at 4-bit with an 8K context, fully on the GPU. Mixture-of-experts models can be bigger, and with 64 GB of system RAM larger models still run, more slowly.

Is the H200 good for local LLMs?

It has 141 GB of memory and 4800 GB/s of bandwidth. Memory decides which models fit; bandwidth decides how fast they write. With 24 GB or more it runs 27–32 B models, the sweet spot of quality for home use.

Grafikkarten › Rechenzentrum

Beste kostenlose KI-Modelle für die H200

H200: 141 GB Videospeicher, 4800 GB/s. Das sind die kostenlosen Modelle, die darauf laufen, gerankt nach Arena-Stimmen, mit der Geschwindigkeit, die du erwarten kannst.

Simuliere dein Setup · Alle Grafikkarten vergleichen

Bestbewertetes Modell, das passtGemma 4 31BArena 1443 · ~150 Tokens/s

Größtes dichtes Modell~218 Bbei 4-Bit, 8K Kontext, komplett auf der GPU

Speicher141 GB4800 GB/s Bandbreite

Mit zwei KartenGLM-5.3-Flash282 GB · ~140 Tokens/s

Bewertete Modelle, die komplett in die GPU passen

Modell	Arena-Wertung	Größe	4-Bit-Datei	Tokens/s
Gemma 4 31B google	1443	31.3 B	20 GB	150
Qwen3.8-27B alibaba	1441	27.8 B	18 GB	177
Gemma 4 26B A4B google · MoE, 4 B aktiv	1434	25.8 B	17 GB	278
Qwen3.5-122B-A10B alibaba · MoE, 10 B aktiv	1417	125.1 B	77 GB	224
Qwen3.5-27B alibaba	1409	27.8 B	18 GB	177
GLM-4.6V zai · MoE, 14.3 B aktiv	1376	107.7 B	66 GB	181
gemma-3-27b-it google	1358	27.4 B	18 GB	174
GLM-4.5V zai · MoE, 14.3 B aktiv	1333	107.7 B	66 GB	181

Größere Modelle mit Hilfe von 64 GB System-RAM

Ein Teil des Modells liegt im Systemspeicher, der viel langsamer ist als der Videospeicher.

Modell	Arena-Wertung	Größe	4-Bit-Datei	Tokens/s
MiMo-V2.6-Flash xiaomi · MoE, 17.4 B aktiv	1455	310.8 B	190 GB	25
Hy3 tencent · MoE, 24.4 B aktiv	1438	298.8 B	182 GB	19
DeepSeek-V4-Flash (High) deepseek · MoE, 20.4 B aktiv	1432	290.9 B	177 GB	26
MiMo-V2.5 xiaomi · MoE, 17.4 B aktiv	1428	310.8 B	190 GB	25
Qwen3-VL-235B-A22B-Instruct alibaba · MoE, 22 B aktiv	1420	235.7 B	144 GB	87
qwen3-235b-a22b-instruct-2507 alibaba · MoE, 22 B aktiv	1419	235.1 B	144 GB	90

Beliebte kleine Modelle

Offizielle kleine Modelle ohne Arena-Stimmen, sortiert nach Downloads auf Hugging Face (Beliebtheit, nicht Qualität).

Modell	Downloads/Monat	Größe	4-Bit-Datei	Tokens/s
Qwen3-0.6B Qwen	28.6M	0.8 B	1.7 GB	724
Qwen3-4B Qwen	11.7M	4 B	3.6 GB	508
Qwen3-8B Qwen	8.8M	8.2 B	6.2 GB	377
Qwen3-14B Qwen	8.7M	14.8 B	10 GB	266
Qwen3.5-4B Qwen	7.8M	4.7 B	4.0 GB	546
Qwen3.5-9B Qwen	7.3M	9.7 B	7.1 GB	379

Schätzungen bei 4-Bit (Q4_K_M) mit 8K Kontext, kalibriert an 44 echten llama.cpp-Tests (typische Abweichung etwa ±10 %). Tokens pro Sekunde: etwa 10 entspricht der Lesegeschwindigkeit.

Fragen

Welches ist das beste kostenlose KI-Modell für die H200?

Gemma 4 31B (Arena-Wertung 1443) ist das am besten bewertete offene Modell, das bei 4-Bit komplett in 141 GB Videospeicher passt, und schreibt etwa 150 Tokens pro Sekunde.

Wie groß darf ein Modell sein, das die H200 ausführt?

Etwa 218 Milliarden Parameter bei einem dichten Modell mit 4-Bit und 8K Kontext, komplett auf der GPU. Mixture-of-Experts-Modelle können größer sein, und mit 64 GB System-RAM laufen noch größere Modelle, nur langsamer.

Ist die H200 gut für lokale LLMs?

Sie hat 141 GB Speicher und 4800 GB/s Bandbreite. Der Speicher entscheidet, welche Modelle passen; die Bandbreite, wie schnell sie schreiben. Mit 24 GB oder mehr läuft sie mit 27–32-B-Modellen, dem Sweet Spot an Qualität für den Heimgebrauch.

Beste kostenlose KI-Modelle für die H200

Bewertete Modelle, die komplett in die GPU passen

Größere Modelle mit Hilfe von 64 GB System-RAM

Beliebte kleine Modelle

Fragen

Ähnliche Karten