FreeLLMPC per IA Novità
I computer pensati per l'IA condividono un grande blocco di memoria veloce tra processore e chip grafico, quindi possono contenere modelli molto più grandi di quelli di una scheda video. Sono silenziosi e piccoli, ma più lenti di una grossa scheda video sui modelli che ci stanno. Stime dal nostro simulatore.
Quanto veloci scrivono
Token al secondo, stimati. Blu: PC per IA con memoria unificata. Arancione: un PC desktop con scheda video, per confronto.
Cosa mostra · Come leggerlo
Cosa mostra. Velocità stimata su Qwen3.8-27B, un modello denso da 27 B parametri, a 4 bit con contesto da 8K. Il PC desktop ha una RTX 5090 e 64 GB di RAM.
Come leggerlo. Barra più lunga, più veloce. La larghezza di banda della memoria decide la velocità: ogni parola legge l'intero modello dalla memoria. I PC per IA vincono sulle dimensioni, le schede video vincono sulla velocità quando il modello ci sta.
Apple Mac Studio con M3 Ultra
macOS: LM Studio, Ollama, llama.cpp e MLX girano tutti sulla GPU Apple. Con Qwen3.8-27B (un modello denso da 27 B) scrive circa 33 token al secondo. Tutti i modelli che esegue →
- Mac Studio M3 UltraDesktopAmazon ↗
Apple M4 Max: Mac Studio e MacBook Pro
macOS: LM Studio, Ollama, llama.cpp e MLX girano tutti sulla GPU Apple. Con Qwen3.8-27B (un modello denso da 27 B) scrive circa 23 token al secondo. Tutti i modelli che esegue →
NVIDIA DGX Spark e altre macchine GB10
Linux con lo stack NVIDIA CUDA: Ollama, llama.cpp, vLLM e la maggior parte degli strumenti di IA funzionano come su una scheda video NVIDIA. Con Qwen3.8-27B (un modello denso da 27 B) scrive circa 12 token al secondo. Tutti i modelli che esegue →
Mini PC e portatili AMD Ryzen AI Max+ 395
Windows o Linux: LM Studio, Ollama e llama.cpp girano sulla GPU Radeon integrata (Vulkan o ROCm). Con Qwen3.8-27B (un modello denso da 27 B) scrive circa 11 token al secondo. Tutti i modelli che esegue →
Apple Mac mini con M4 Pro
macOS: LM Studio, Ollama, llama.cpp e MLX girano tutti sulla GPU Apple. Con Qwen3.8-27B (un modello denso da 27 B) scrive circa 12 token al secondo. Tutti i modelli che esegue →
- Mac mini M4 ProMini PCAmazon ↗
Per confronto: un PC desktop con una RTX 5090
32 GB sulla scheda video, 1792 GB/s, più 64 GB di RAM di sistema. Miglior modello gratis a velocità di lettura: Gemma 4 31B
Tutti i modelli che la RTX 5090 esegue → · Tutte le schede video · Quanta RAM serve
Come scegliere
La memoria decide cosa ci sta
Un modello a 4 bit richiede circa 0.6 GB per miliardo di parametri, più il contesto. Con la memoria unificata, circa tre quarti possono andare al modello: 128 GB contengono modelli da circa 150 miliardi di parametri, 512 GB anche modelli più grandi.
La larghezza di banda decide la velocità
Ogni parola che il modello scrive legge tutti i suoi pesi attivi. Più GB/s, risposte più veloci. I modelli mixture-of-experts leggono solo una parte dei loro pesi, quindi girano veloci anche sui grandi PC per IA.
Apple, NVIDIA o AMD
I Mac sono silenziosi e semplici da configurare. Le macchine GB10 come il DGX Spark usano il software NVIDIA per cui sono fatti la maggior parte degli strumenti di IA. I mini PC Ryzen AI Max+ 395 sono il modo più economico per arrivare a 128 GB e girano con Windows o Linux.
Oppure una scheda video?
Se i modelli che vuoi ci stanno in 24-32 GB, un desktop con una grossa scheda video è più veloce. Scegli un PC per IA quando vuoi modelli che richiedono 64 GB o più. Confronta nel simulatore Esegui a casa.
Link di affiliazione: come affiliati Amazon, FreeLLMArena guadagna dagli acquisti idonei fatti tramite i link «Amazon ↗». I link non cambiano l'ordine, i numeri o le stime di questa pagina, e il prezzo per te è lo stesso. Le velocità sono stime del nostro simulatore, tarate su esecuzioni reali di llama.cpp.
Condividi questa pagina:XLinkedInRedditWhatsApp
Hai visto un numero sbagliato o un link rotto? Segnala un errore