FreeLLMDas beste Modell, das deine Hardware ausführen kann
Wähle deine Grafikkarte, wie viele du hast und deinen System-RAM. Sieh, welche bestbewerteten offenen Modelle passen, wie sich der Speicher aufteilt und wie schnell sie schreiben.
So schätzen wir
Speicher = Gewichte (Parameter × Bytes pro Gewicht bei der gewählten Genauigkeit) + Kontext-Cache (berechnet aus der echten Architektur jedes Modells auf Hugging Face: Schichten, Attention-Heads, Sliding Windows) + etwa 0.6 GB pro Karte für die Laufzeit. Bild- und Videomodelle bekommen 3 GB mehr für Text-Encoder und Decoder.
Geschwindigkeit: Für ein Token liest die Karte einmal die aktiven Gewichte und den Cache, also Tokens pro Sekunde ≈ Speicherbandbreite × 78 % ÷ gelesene Daten, plus feste Kosten für jedes Token (etwa 1 ms; 2.8 ms bei Mixture-of-Experts-Modellen, die auch ihre Experten auswählen; mehr bei Apple). Mixture-of-Experts-Modelle lesen nur ihre aktiven Experten. Bei mehreren Karten (llama.cpp und Ollama verteilen die Schichten auf sie) bleibt die Geschwindigkeit nahe der einer Karte; liegen Gewichte im System-RAM, ist der RAM-Teil viel langsamer. Die Formel ist an 44 echten llama.cpp-Tests kalibriert (Liste mit Quellen): typische Abweichung etwa ±10 %, in einigen Fällen bis ±40 %.
Apple, AMD Ryzen AI Max und DGX Spark teilen den Speicher mit dem System: Wir rechnen 75 % davon.
Diese Seite teilen:XLinkedInRedditWhatsApp
Falsche Zahl oder kaputten Link entdeckt? Fehler melden