FreeLLMAlle Modelle › nvidia
NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16
nvidia · veröffentlicht am 12. Okt. 2026
Wo du es kostenlos nutzen kannst
- Kostenlose API bei OpenRouter: Modell-ID
nvidia/nemotron-3.5-super-vl:free. Nebeneinander ausprobieren · OpenRouter-Seite - Der eigene Chat des Labors: build.nvidia.com (kostenlos mit Tageslimits)
- Lade es herunter und führe es zu Hause aus: offizielle Gewichte · GGUF-Dateien für Ollama und LM Studio
Neu: wartet auf Arena-Stimmen
Veröffentlicht am 12. Okt. 2026. Die Arena hat über dieses Modell noch nicht abgestimmt. Sobald das passiert, rückt das Modell automatisch in die Rangliste auf, meist in der nächsten Nacht. Bis dahin kannst du unten schon Größe, Speicherbedarf und Geschwindigkeit ansehen und es kostenlos ausprobieren.
Geschwindigkeit auf gängiger Hardware
| Hardware | GPU-Speicher | Passt es? | Geschwindigkeit |
|---|---|---|---|
| RTX 3060 12 GB | 12 GB | Passt nicht | — |
| RTX 4060 Ti 16 GB | 16 GB | Passt nicht | — |
| RTX 3090 | 24 GB | Passt nicht | — |
| RTX 4090 | 24 GB | Passt nicht | — |
| RTX 5090 | 32 GB | GPU + 64 GB RAM | 16 tok/s |
| RX 7900 XTX | 24 GB | Passt nicht | — |
| 2 × RTX 3090 | 48 GB | GPU + 64 GB RAM | 21 tok/s |
| 4 × RTX 3090 | 96 GB | Passt in die GPU | 70 tok/s |
| Mac M4 Max 128 GB | 96 GB | Passt in die GPU | 41 tok/s |
| Ryzen AI Max+ 395 128 GB | 96 GB | Passt in die GPU | 25 tok/s |
| 8 × H100 SXM | 640 GB | Passt in die GPU | 145 tok/s |
Schätzung bei 4-Bit mit 32K Kontext, 64 GB DDR5 zum Auslagern. Geschwindigkeit ≈ Speicherbandbreite × 78 % ÷ pro Token gelesene Daten, plus feste Kosten pro Token, kalibriert an 44 echten llama.cpp-Tests; typische Abweichung etwa ±10 %. Alle Grafikkarten vergleichen.
Benötigter GPU-Speicher
| Stufe | 8K Kontext | 32K Kontext | 128K Kontext | Qualität im Vergleich zum Original |
|---|---|---|---|---|
| Q3_K_M | 63 GB | 63 GB | 64 GB | +4.7 % spürbarer Verlust |
| Q4_K_M | 76 GB | 76 GB | 77 GB | +1.2 % sehr kleiner Verlust |
| Q5_K_M | 89 GB | 89 GB | 90 GB | +0.4 % nahezu verlustfrei |
| Q6_K | 103 GB | 103 GB | 104 GB | +0.2 % nahezu verlustfrei |
| Q8_0 | 133 GB | 133 GB | 134 GB | ≈ 0 % wie das Original |
| F16 | 250 GB | 250 GB | 251 GB | ≈ 0 % wie das Original |
Gewichte + Kontext-Cache (aus der Architektur des Modells) + Laufzeit. Qualität: Anstieg von perplexity gegenüber dem vollen Modell, aus llama.cpp-Tests, skaliert nach Modellgröße. Simuliere dein eigenes Setup.
Diese Seite teilen:XLinkedInRedditWhatsApp
Falsche Zahl oder kaputten Link entdeckt? Fehler melden