Alle Modelle › google

Gemma 3 12B IT

Name: Gemma 3 12B IT
Author: google

google · Gemma-Lizenz · in der Arena seit 5. Mai 2025

Chat des Labors Download

Arena-Wertung1342Platz 236 von 419 im Chat, kostenpflichtige Modelle eingeschlossen

Größe12.2 BParameter

4-Bit-Download7.4 GBnur Gewichte, Q4_K_M

Max. Kontext128KTokens, laut Modellkonfiguration

Wo du es kostenlos nutzen kannst

Der eigene Chat des Labors: aistudio.google.com (kostenlos mit Tageslimits)
Starte es mit einem Befehl mit whichllm (kostenlos, Open Source): uvx whichllm@latest plan "gemma-3-12b-it" zeigt die benötigte GPU, uvx whichllm@latest run "gemma-3-12b-it gguf" lädt sie herunter und startet einen Chat
Lade es herunter und führe es zu Hause aus: offizielle Gewichte · GGUF-Dateien für Ollama und LM Studio

Arena-Wertungen

Arena	Wertung	Rang	Stimmen
Chat 2026-10-28	1342	Platz 236 von 419	4K

Rang unter allen Modellen, auch den kostenpflichtigen. Quelle: Arena-Leaderboard-Datensatz.

Geschwindigkeit auf gängiger Hardware

Hardware	GPU-Speicher	Passt es?	Geschwindigkeit
RTX 3060 12 GB	12 GB	Passt in die GPU	28 tok/s
RTX 4060 Ti 16 GB	16 GB	Passt in die GPU	22 tok/s
RTX 3090	24 GB	Passt in die GPU	69 tok/s
RTX 4090	24 GB	Passt in die GPU	74 tok/s
RTX 5090	32 GB	Passt in die GPU	124 tok/s
RX 7900 XTX	24 GB	Passt in die GPU	70 tok/s
2 × RTX 3090	48 GB	Passt in die GPU	67 tok/s
4 × RTX 3090	96 GB	Passt in die GPU	63 tok/s
Mac M4 Max 128 GB	96 GB	Passt in die GPU	37 tok/s
Ryzen AI Max+ 395 128 GB	96 GB	Passt in die GPU	20 tok/s
8 × H100 SXM	640 GB	Passt in die GPU	173 tok/s

Schätzung bei 4-Bit mit 32K Kontext, 64 GB DDR5 zum Auslagern. Geschwindigkeit ≈ Speicherbandbreite × 78 % ÷ pro Token gelesene Daten, plus feste Kosten pro Token, kalibriert an 44 echten llama.cpp-Tests; typische Abweichung etwa ±10 %. Alle Grafikkarten vergleichen.

Benötigter GPU-Speicher

Stufe	8K Kontext	32K Kontext	128K Kontext	Qualität im Vergleich zum Original
Q3_K_M	7.6 GB	9.2 GB	16 GB	+9.4 % spürbarer Verlust
Q4_K_M	8.9 GB	10 GB	17 GB	+2.5 % kleiner Verlust
Q5_K_M	10 GB	12 GB	18 GB	+0.8 % sehr kleiner Verlust
Q6_K	11 GB	13 GB	20 GB	+0.3 % nahezu verlustfrei
Q8_0	14 GB	16 GB	22 GB	≈ 0 % wie das Original
F16	26 GB	27 GB	34 GB	≈ 0 % wie das Original

Gewichte + Kontext-Cache (aus der Architektur des Modells) + Laufzeit. Qualität: Anstieg von perplexity gegenüber dem vollen Modell, aus llama.cpp-Tests, skaliert nach Modellgröße. Simuliere dein eigenes Setup.

Chat-Wertung im Zeitverlauf

14001500

MaiJunJulAugSeptOkt

Gemma 3 12B IT 1342Bestes kostenpflichtiges Modell

Arena-Wertung vom 29. Apr. 2026 bis 28. Okt. 2026.