FreeLLMKI-PCs Neu
Für KI gebaute Computer teilen sich einen großen Pool schnellen Speichers zwischen Prozessor und Grafikchip, deshalb fassen sie viel größere Modelle als eine Grafikkarte. Sie sind leise und klein, aber bei Modellen, die in eine große Grafikkarte passen, langsamer. Schätzungen aus unserem Simulator.
Wie schnell sie schreiben
Tokens pro Sekunde, geschätzt. Blau: KI-PCs mit Unified Memory. Orange: ein Desktop-PC mit Grafikkarte zum Vergleich.
Was das zeigt · So liest du es
Was es zeigt. Geschätzte Geschwindigkeit bei Qwen3.8-27B, einem dichten Modell mit 27 B Parametern, bei 4 Bit mit 8K Kontext. Der Desktop-PC hat eine RTX 5090 und 64 GB RAM.
So liest du es. Längerer Balken, schneller. Die Speicherbandbreite bestimmt die Geschwindigkeit: Jedes Wort liest das ganze Modell aus dem Speicher. KI-PCs gewinnen bei der Größe, Grafikkarten bei der Geschwindigkeit, wenn das Modell passt.
Apple Mac Studio mit M3 Ultra
macOS: LM Studio, Ollama, llama.cpp und MLX laufen alle auf der Apple-GPU. Mit Qwen3.8-27B (einem dichten 27-B-Modell) schreibt er etwa 33 Tokens pro Sekunde. Alle Modelle, die er ausführt →
- Mac Studio M3 UltraDesktopAmazon ↗
Apple M4 Max: Mac Studio und MacBook Pro
macOS: LM Studio, Ollama, llama.cpp und MLX laufen alle auf der Apple-GPU. Mit Qwen3.8-27B (einem dichten 27-B-Modell) schreibt er etwa 23 Tokens pro Sekunde. Alle Modelle, die er ausführt →
NVIDIA DGX Spark und andere GB10-Geräte
Linux mit dem NVIDIA-CUDA-Stack: Ollama, llama.cpp, vLLM und die meisten KI-Werkzeuge funktionieren wie auf einer NVIDIA-Grafikkarte. Mit Qwen3.8-27B (einem dichten 27-B-Modell) schreibt er etwa 12 Tokens pro Sekunde. Alle Modelle, die er ausführt →
AMD-Ryzen-AI-Max+-395-Mini-PCs und Laptops
Windows oder Linux: LM Studio, Ollama und llama.cpp laufen auf der eingebauten Radeon-GPU (Vulkan oder ROCm). Mit Qwen3.8-27B (einem dichten 27-B-Modell) schreibt er etwa 11 Tokens pro Sekunde. Alle Modelle, die er ausführt →
Apple Mac mini mit M4 Pro
macOS: LM Studio, Ollama, llama.cpp und MLX laufen alle auf der Apple-GPU. Mit Qwen3.8-27B (einem dichten 27-B-Modell) schreibt er etwa 12 Tokens pro Sekunde. Alle Modelle, die er ausführt →
- Mac mini M4 ProMini-PCAmazon ↗
Zum Vergleich: ein Desktop-PC mit einer RTX 5090
32 GB auf der Grafikkarte, 1792 GB/s, plus 64 GB System-RAM. Bestes kostenloses Modell in Lesegeschwindigkeit: Gemma 4 31B
Alle Modelle, die die RTX 5090 ausführt → · Alle Grafikkarten · Wie viel RAM
So wählst du
Der Speicher entscheidet, was passt
Ein Modell bei 4 Bit braucht etwa 0.6 GB pro Milliarde Parameter, plus den Kontext. Bei Unified Memory kann etwa drei Viertel davon ans Modell gehen: 128 GB fassen Modelle mit etwa 150 Milliarden Parametern, 512 GB sogar größere.
Die Bandbreite entscheidet über die Geschwindigkeit
Jedes Wort, das das Modell schreibt, liest alle seine aktiven Gewichte. Mehr GB/s, schnellere Antworten. Mixture-of-Experts-Modelle lesen nur einen Teil ihrer Gewichte, daher laufen sie auch auf großen KI-PCs schnell.
Apple, NVIDIA oder AMD
Macs sind leise und einfach einzurichten. GB10-Geräte wie der DGX Spark nutzen die NVIDIA-Software, für die die meisten KI-Werkzeuge gebaut sind. Ryzen-AI-Max+-395-Mini-PCs sind der günstigste Weg zu 128 GB und laufen mit Windows oder Linux.
Oder eine Grafikkarte?
Wenn die Modelle, die du willst, in 24 bis 32 GB passen, ist ein Desktop mit großer Grafikkarte schneller. Wähle einen KI-PC, wenn du Modelle willst, die 64 GB oder mehr brauchen. Vergleiche im Simulator „Zu Hause ausführen“.
Affiliate-Links: Als Amazon-Partner verdient FreeLLMArena an qualifizierten Käufen über die Links „Amazon ↗“. Die Links ändern weder die Reihenfolge noch die Zahlen oder Schätzungen auf dieser Seite, und der Preis ist für dich derselbe. Die Geschwindigkeiten sind Schätzungen aus unserem Simulator, kalibriert an echten llama.cpp-Läufen.
Diese Seite teilen:XLinkedInRedditWhatsApp
Falsche Zahl oder kaputten Link entdeckt? Fehler melden