NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16: Neuheiten, nötige Hardware, so nutzt du es kostenlos

NVIDIAs Dory-Modell verarbeitet bis zu 256 K Token in einem einzigen Prompt. Du tauschst zusätzliche Rechenleistung gegen höhere Genauigkeit, ohne das Modell zu wechseln.

NVIDIA‑Nemotron‑Labs‑Dory1.0‑4B‑BF16 ist ein Sprachmodell mit 4 Milliarden Parametern, erschienen am 16. Oktober 2026. Es folgt einer Schleifenarchitektur mit latenter Rekurrenz, bei der ein gemeinsamer rekurrenter Block mehrfach zwischen Eingabe- und Ausgabeschichten angewendet wird. Das Modell läuft in BF16-Genauigkeit und unterstützt einen Kontext von bis zu 256 K Token, geeignet für sehr lange Prompts. Es steht unter der OpenMDW-1.1-Vereinbarung, die kommerzielle und nicht-kommerzielle Nutzung erlaubt.

Laut NVIDIA führt Dory elastische Inferenz-Rechenleistung ein: Ein einziger Checkpoint kann mit einer, zwei oder vier Schleifen laufen, sodass du Geschwindigkeit und Genauigkeit spontan abwägen kannst. Durch die Schleifen denkt das Modell mehr im latenten Raum und braucht weniger erzeugte Token, um eine Aufgabe zu lösen. Speichereffiziente Schleifen werden durch KV-Caching der letzten Schleife erreicht, das unabhängig von der Schleifenzahl nur einen Cache pro rekurrenter Schicht behält. Das Modell wurde zuerst in NVIDIAs 4-Bit-Format NVFP4 vortrainiert und dann in BF16 fortgesetzt.

Die Modellkarte nennt mehrere von NVIDIA mit einheitlichem Testaufbau gemessene Benchmark-Werte. Mit zwei Schleifen erreicht Dory 59.5 im Coding-Benchmark SWE‑bench Verified und übertrifft damit die 50.3 mit einer Schleife. Bei Terminal‑Bench 2.1 erreichen vier Schleifen 43, gegenüber 12.5 mit einer Schleife. Beim Denken liefert der Test GPQA Diamond 69.19 mit einer einzigen Schleife. Das mit AA‑Omniscience gemessene Allgemeinwissen zeigt eine Genauigkeit von 10.03 bei einer Schleife. Diese Zahlen zeigen, wie zusätzliche Schleifen die Leistung bei Agenten- und Coding-Aufgaben verbessern.

Dorys größte Stärke ist sein Kontext von 256 K Token, der umfangreiche Prompts oder Dokumente erlaubt. Die elastischen Schleifen geben dir feine Kontrolle: Eine Schleife hält den Rechenaufwand minimal, zwei oder vier Schleifen steigern die Genauigkeit bei schwierigeren Aufgaben. Das Modell ist jedoch nur auf Englisch trainiert, daher ist die mehrsprachige Nutzung begrenzt. Mehr Schleifen erhöhen außerdem die Latenz pro Token, deshalb bevorzugen Echtzeitanwendungen womöglich eine einzelne Schleife.

Wenn du mit sehr langen Dokumenten arbeiten oder mit elastischer Inferenz-Rechenleistung experimentieren willst, passt Dory gut. Es ist auch für Entwickler von Coding-Assistenten nützlich, weil die Benchmarks mit zwei oder vier Schleifen starke Leistung bei Agentenaufgaben zeigen. Da die Gewichte frei auf Hugging Face verfügbar sind, kann jeder das Modell herunterladen und lokal ausführen.

Was brauchst du, um es zu Hause auszuführen? Bei 4 Bit belegt es etwa 5 Gigabyte Speicher. Der kleinste Heimrechner, der es komplett fasst, ist ein RTX 4060. Auf einem RTX 3060 12 GB mit 32 Gigabyte RAM schreibt es etwa 90 Tokens pro Sekunde. Auf einem RTX 4090 mit 64 Gigabyte RAM schreibt es etwa 217 Tokens pro Sekunde.

Eine kostenlose API gibt es dafür noch nicht. Die Gewichte sind offen: Du kannst sie unter einer anderen Lizenz von Hugging Face herunterladen. Die Arena hat es noch nicht bewertet: Wir tragen die Wertung nach, sobald die Stimmen eintreffen.

Vergleiche NVIDIA Nemotron Labs Dory1.0 4B BF16 mit allen kostenlosen Modellen und prüfe auf FreeLLMArena, was deine Grafikkarte ausführen kann.