In der Free Arena abstimmen

Alle Modelle › microsoft

Aion-1.0-Instruct-2.3B

microsoft · released 18 Nov 2026

Download Neu · wartet auf Arena-Stimmen
Arena-Wertung—In der Arena noch nicht bewertet
Größe2.3 BParameter
4-Bit-Download1.4 GBnur Gewichte, Q4_K_M
Max. Kontext32KTokens, laut Modellkonfiguration

Wo du es kostenlos nutzen kannst

  • Starte es mit einem Befehl mit whichllm (kostenlos, Open Source): uvx whichllm@latest plan "Aion-1.0-Instruct-2.3B" zeigt die benötigte GPU, uvx whichllm@latest run "Aion-1.0-Instruct-2.3B gguf" lädt sie herunter und startet einen Chat
  • Lade es herunter und führe es zu Hause aus: offizielle Gewichte · GGUF-Dateien für Ollama und LM Studio

Neu: wartet auf Arena-Stimmen

Released on 18 Nov 2026. Arena has not voted on this model yet. As soon as it does, the model moves into the ranking automatically, usually the next night. Until then you can still check its size, memory needs and speed below.

Geschwindigkeit auf gängiger Hardware

HardwareGPU-SpeicherPasst es?Geschwindigkeit
RTX 3060 12 GB12 GBPasst in die GPU101 tok/s
RTX 4060 Ti 16 GB16 GBPasst in die GPU82 tok/s
RTX 309024 GBPasst in die GPU225 tok/s
RTX 409024 GBPasst in die GPU239 tok/s
RTX 509032 GBPasst in die GPU358 tok/s
RX 7900 XTX24 GBPasst in die GPU230 tok/s
2 × RTX 309048 GBPasst in die GPU219 tok/s
4 × RTX 309096 GBPasst in die GPU207 tok/s
Mac M4 Max 128 GB96 GBPasst in die GPU106 tok/s
Ryzen AI Max+ 395 128 GB96 GBPasst in die GPU74 tok/s
8 × H100 SXM640 GBPasst in die GPU422 tok/s

Schätzung bei 4-Bit mit 32K Kontext, 64 GB DDR5 zum Auslagern. Geschwindigkeit ≈ Speicherbandbreite × 78 % ÷ pro Token gelesene Daten, plus feste Kosten pro Token, kalibriert an 44 echten llama.cpp-Tests; typische Abweichung etwa ±10 %. Alle Grafikkarten vergleichen.

Benötigter GPU-Speicher

Stufe8K Kontext32K KontextQualität im Vergleich zum Original
Q3_K_M2.2 GB2.9 GB+10.5 % spürbarer Verlust
Q4_K_M2.4 GB3.1 GB+2.8 % kleiner Verlust
Q5_K_M2.6 GB3.4 GB+0.9 % sehr kleiner Verlust
Q6_K2.9 GB3.6 GB+0.3 % nahezu verlustfrei
Q8_03.5 GB4.2 GB≈ 0 % wie das Original
F165.6 GB6.3 GB≈ 0 % wie das Original

Gewichte + Kontext-Cache (aus der Architektur des Modells) + Laufzeit. Qualität: Anstieg von perplexity gegenüber dem vollen Modell, aus llama.cpp-Tests, skaliert nach Modellgröße. Simuliere dein eigenes Setup.

Diese Seite teilen:XLinkedInRedditWhatsApp

Drücke / oder Strg+K, um von jeder Seite aus zu suchen.