Alle Modelle › microsoft
Aion-1.0-Instruct-2.3B
microsoft · released 18 Nov 2026
Wo du es kostenlos nutzen kannst
- Starte es mit einem Befehl mit whichllm (kostenlos, Open Source):
uvx whichllm@latest plan "Aion-1.0-Instruct-2.3B"zeigt die benötigte GPU,uvx whichllm@latest run "Aion-1.0-Instruct-2.3B gguf"lädt sie herunter und startet einen Chat - Lade es herunter und führe es zu Hause aus: offizielle Gewichte · GGUF-Dateien für Ollama und LM Studio
Neu: wartet auf Arena-Stimmen
Released on 18 Nov 2026. Arena has not voted on this model yet. As soon as it does, the model moves into the ranking automatically, usually the next night. Until then you can still check its size, memory needs and speed below.
Geschwindigkeit auf gängiger Hardware
| Hardware | GPU-Speicher | Passt es? | Geschwindigkeit |
|---|---|---|---|
| RTX 3060 12 GB | 12 GB | Passt in die GPU | 101 tok/s |
| RTX 4060 Ti 16 GB | 16 GB | Passt in die GPU | 82 tok/s |
| RTX 3090 | 24 GB | Passt in die GPU | 225 tok/s |
| RTX 4090 | 24 GB | Passt in die GPU | 239 tok/s |
| RTX 5090 | 32 GB | Passt in die GPU | 358 tok/s |
| RX 7900 XTX | 24 GB | Passt in die GPU | 230 tok/s |
| 2 × RTX 3090 | 48 GB | Passt in die GPU | 219 tok/s |
| 4 × RTX 3090 | 96 GB | Passt in die GPU | 207 tok/s |
| Mac M4 Max 128 GB | 96 GB | Passt in die GPU | 106 tok/s |
| Ryzen AI Max+ 395 128 GB | 96 GB | Passt in die GPU | 74 tok/s |
| 8 × H100 SXM | 640 GB | Passt in die GPU | 422 tok/s |
Schätzung bei 4-Bit mit 32K Kontext, 64 GB DDR5 zum Auslagern. Geschwindigkeit ≈ Speicherbandbreite × 78 % ÷ pro Token gelesene Daten, plus feste Kosten pro Token, kalibriert an 44 echten llama.cpp-Tests; typische Abweichung etwa ±10 %. Alle Grafikkarten vergleichen.
Benötigter GPU-Speicher
| Stufe | 8K Kontext | 32K Kontext | Qualität im Vergleich zum Original |
|---|---|---|---|
| Q3_K_M | 2.2 GB | 2.9 GB | +10.5 % spürbarer Verlust |
| Q4_K_M | 2.4 GB | 3.1 GB | +2.8 % kleiner Verlust |
| Q5_K_M | 2.6 GB | 3.4 GB | +0.9 % sehr kleiner Verlust |
| Q6_K | 2.9 GB | 3.6 GB | +0.3 % nahezu verlustfrei |
| Q8_0 | 3.5 GB | 4.2 GB | ≈ 0 % wie das Original |
| F16 | 5.6 GB | 6.3 GB | ≈ 0 % wie das Original |
Gewichte + Kontext-Cache (aus der Architektur des Modells) + Laufzeit. Qualität: Anstieg von perplexity gegenüber dem vollen Modell, aus llama.cpp-Tests, skaliert nach Modellgröße. Simuliere dein eigenes Setup.
Diese Seite teilen:XLinkedInRedditWhatsApp
Falsche Zahl oder kaputten Link entdeckt? Fehler melden