Vota in Free Arena

Tutti i modelli › Qwen

Qwen3-14B

Qwen · licenza aperta · uscito il 27 apr 2025

Download Nessun voto su Arena
Punteggio Arena—Non ancora votato su Arena
Dimensione14.8 Bparametri
Download a 4 bit9.0 GBsolo pesi, Q4_K_M
Contesto massimo40Ktoken, dalla configurazione del modello

Dove usarlo gratis

Ancora nessun voto su Arena

Arena non ha votato questo modello. È in elenco perché è un modello piccolo molto diffuso nella pagina Hugging Face ufficiale del suo laboratorio (8.7M download al mese).

Velocità sull'hardware più diffuso

HardwareMemoria GPUCi sta?Velocità
RTX 3060 12 GB12 GBGPU + 64 GB di RAM13 tok/s
RTX 4060 Ti 16 GB16 GBEntra nella GPU15 tok/s
RTX 309024 GBEntra nella GPU48 tok/s
RTX 409024 GBEntra nella GPU52 tok/s
RTX 509032 GBEntra nella GPU89 tok/s
RX 7900 XTX24 GBEntra nella GPU50 tok/s
2 × RTX 309048 GBEntra nella GPU47 tok/s
4 × RTX 309096 GBEntra nella GPU44 tok/s
Mac M4 Max 128 GB96 GBEntra nella GPU27 tok/s
Ryzen AI Max+ 395 128 GB96 GBEntra nella GPU14 tok/s
8 × H100 SXM640 GBEntra nella GPU127 tok/s

Stima a 4 bit con contesto da 32K e 64 GB di DDR5 per lo scarico in RAM. Velocità ≈ banda di memoria × 78% ÷ dati letti per token, più un costo fisso per token, calibrata su 44 test reali con llama.cpp; errore tipico di circa ±10%. Confronta tutte le GPU.

Memoria GPU necessaria

LivelloContesto da 8KContesto da 32KQualità rispetto al modello completo
Q3_K_M9.3 GB13 GB+8.9% perdita evidente
Q4_K_M11 GB15 GB+2.4% piccola perdita
Q5_K_M12 GB16 GB+0.8% perdita minima
Q6_K14 GB18 GB+0.3% quasi senza perdita
Q8_018 GB22 GB≈ 0% uguale al completo
F1632 GB36 GB≈ 0% uguale al completo

Pesi + cache del contesto (dall'architettura del modello) + runtime. Qualità: aumento di perplexity rispetto al modello completo, dai test con llama.cpp, scalato in base alla dimensione del modello. Simula la tua configurazione.

Condividi questa pagina:XLinkedInRedditWhatsApp