Moonlight-16B-A3B-Instruct

Dove usarlo gratis

• Scaricalo e usalo a casa: pesi ufficiali · file GGUF per Ollama e LM Studio

Ancora nessun voto su Arena

Arena non ha votato questo modello. È in elenco perché è un modello piccolo molto diffuso nella pagina Hugging Face ufficiale del suo laboratorio (34K download al mese).

Velocità sull'hardware più diffuso

Stima a 4 bit con contesto da 32K e 64 GB di DDR5 per lo scarico in RAM. Velocità ≈ banda di memoria × 78% ÷ dati letti per token, più un costo fisso per token, calibrata su 44 test reali con llama.cpp; errore tipico di circa ±10%. Confronta tutte le GPU.

Memoria GPU necessaria

Pesi + cache del contesto (dall'architettura del modello) + runtime. Qualità: aumento di perplexity rispetto al modello completo, dai test con llama.cpp, scalato in base alla dimensione del modello. Simula la tua configurazione.