Vota in Free Arena

Tutti i modelli › deepseek-ai

DeepSeek-R1-Distill-Qwen-14B

deepseek-ai · licenza aperta · uscito il 20 gen 2025

Download Nessun voto su Arena
Punteggio Arena—Non ancora votato su Arena
Dimensione14.8 Bparametri
Download a 4 bit9.0 GBsolo pesi, Q4_K_M
Contesto massimo128Ktoken, dalla configurazione del modello

Dove usarlo gratis

Ancora nessun voto su Arena

Arena non ha votato questo modello. È in elenco perché è un modello piccolo molto diffuso nella pagina Hugging Face ufficiale del suo laboratorio (328K download al mese).

Velocità sull'hardware più diffuso

HardwareMemoria GPUCi sta?Velocità
RTX 3060 12 GB12 GBGPU + 64 GB di RAM11 tok/s
RTX 4060 Ti 16 GB16 GBGPU + 64 GB di RAM14 tok/s
RTX 309024 GBEntra nella GPU45 tok/s
RTX 409024 GBEntra nella GPU49 tok/s
RTX 509032 GBEntra nella GPU83 tok/s
RX 7900 XTX24 GBEntra nella GPU46 tok/s
2 × RTX 309048 GBEntra nella GPU44 tok/s
4 × RTX 309096 GBEntra nella GPU41 tok/s
Mac M4 Max 128 GB96 GBEntra nella GPU25 tok/s
Ryzen AI Max+ 395 128 GB96 GBEntra nella GPU13 tok/s
8 × H100 SXM640 GBEntra nella GPU120 tok/s

Stima a 4 bit con contesto da 32K e 64 GB di DDR5 per lo scarico in RAM. Velocità ≈ banda di memoria × 78% ÷ dati letti per token, più un costo fisso per token, calibrata su 44 test reali con llama.cpp; errore tipico di circa ±10%. Confronta tutte le GPU.

Memoria GPU necessaria

LivelloContesto da 8KContesto da 32KContesto da 128KQualità rispetto al modello completo
Q3_K_M9.6 GB14 GB34 GB+8.9% perdita evidente
Q4_K_M11 GB16 GB35 GB+2.4% piccola perdita
Q5_K_M13 GB18 GB37 GB+0.8% perdita minima
Q6_K14 GB19 GB39 GB+0.3% quasi senza perdita
Q8_018 GB23 GB42 GB≈ 0% uguale al completo
F1632 GB37 GB56 GB≈ 0% uguale al completo

Pesi + cache del contesto (dall'architettura del modello) + runtime. Qualità: aumento di perplexity rispetto al modello completo, dai test con llama.cpp, scalato in base alla dimensione del modello. Simula la tua configurazione.

Condividi questa pagina:XLinkedInRedditWhatsApp