Vota in Free Arena

Tutti i modelli › inclusionAI

Ling-3.0-tiny

inclusionAI · licenza aperta · uscito il 10 ago 2026

Download Nessun voto su Arena
Punteggio Arena—Non ancora votato su Arena
Dimensione7.9 B1.4 B attivi per token (mixture of experts)
Download a 4 bit4.8 GBsolo pesi, Q4_K_M
Contesto massimo128Ktoken, dalla configurazione del modello

Dove usarlo gratis

Ancora nessun voto su Arena

Arena non ha votato questo modello. È in elenco perché è un modello piccolo molto diffuso nella pagina Hugging Face ufficiale del suo laboratorio (11K download al mese).

Velocità sull'hardware più diffuso

HardwareMemoria GPUCi sta?Velocità
RTX 3060 12 GB12 GBEntra nella GPU111 tok/s
RTX 4060 Ti 16 GB16 GBEntra nella GPU94 tok/s
RTX 309024 GBEntra nella GPU192 tok/s
RTX 409024 GBEntra nella GPU199 tok/s
RTX 509032 GBEntra nella GPU247 tok/s
RX 7900 XTX24 GBEntra nella GPU194 tok/s
2 × RTX 309048 GBEntra nella GPU187 tok/s
4 × RTX 309096 GBEntra nella GPU176 tok/s
Mac M4 Max 128 GB96 GBEntra nella GPU94 tok/s
Ryzen AI Max+ 395 128 GB96 GBEntra nella GPU86 tok/s
8 × H100 SXM640 GBEntra nella GPU238 tok/s

Stima a 4 bit con contesto da 32K e 64 GB di DDR5 per lo scarico in RAM. Velocità ≈ banda di memoria × 78% ÷ dati letti per token, più un costo fisso per token, calibrata su 44 test reali con llama.cpp; errore tipico di circa ±10%. Confronta tutte le GPU.

Memoria GPU necessaria

LivelloContesto da 8KContesto da 32KContesto da 128KQualità rispetto al modello completo
Q3_K_M4.8 GB5.5 GB8.2 GB+10.5% perdita evidente
Q4_K_M5.6 GB6.3 GB9.0 GB+2.8% piccola perdita
Q5_K_M6.4 GB7.1 GB9.8 GB+0.9% perdita minima
Q6_K7.3 GB8.0 GB11 GB+0.3% quasi senza perdita
Q8_09.2 GB9.9 GB13 GB≈ 0% uguale al completo
F1617 GB17 GB20 GB≈ 0% uguale al completo

Pesi + cache del contesto (dall'architettura del modello) + runtime. Qualità: aumento di perplexity rispetto al modello completo, dai test con llama.cpp, scalato in base alla dimensione del modello. Simula la tua configurazione.

Condividi questa pagina:XLinkedInRedditWhatsApp