Voter dans Free Arena

Tous les modèles › inclusionAI

Ling-3.1-flash

inclusionAI · sorti le 13 oct. 2026

Télécharger Nouveau · en attente de votes Arena
Score Arena—Pas encore de vote sur Arena
Taille572.1 B33.1 B actifs par token (mélange d'experts)
Téléchargement en 4 bits347 GBpoids seuls, Q4_K_M
Contexte max.256Ktokens, d'après la configuration du modèle

Où l'utiliser gratuitement

Nouveau : en attente de votes Arena

Sorti le 13 oct. 2026. Arena n'a pas encore voté pour ce modèle. Dès que ce sera le cas, le modèle rejoindra le classement automatiquement, en général la nuit suivante. D'ici là, vous pouvez déjà consulter ci-dessous sa taille, ses besoins en mémoire et sa vitesse.

Vitesse sur du matériel courant

MatérielMémoire GPUÇa tient ?Vitesse
RTX 3060 12 GB12 GBNe tient pas—
RTX 4060 Ti 16 GB16 GBNe tient pas—
RTX 309024 GBNe tient pas—
RTX 409024 GBNe tient pas—
RTX 509032 GBNe tient pas—
RX 7900 XTX24 GBNe tient pas—
2 × RTX 309048 GBNe tient pas—
4 × RTX 309096 GBNe tient pas—
Mac M4 Max 128 GB96 GBNe tient pas—
Ryzen AI Max+ 395 128 GB96 GBNe tient pas—
8 × H100 SXM640 GBTient dans le GPU72 tok/s

Estimation en 4 bits avec un contexte de 32K et 64 GB de DDR5 pour le déchargement. Vitesse ≈ bande passante mémoire × 78 % ÷ données lues par token, plus un coût fixe par token, calibrée sur 44 tests llama.cpp réels ; erreur typique d'environ ±10 %. Comparer tous les GPU.

Mémoire GPU nécessaire

NiveauContexte de 8KContexte de 32KContexte de 128KQualité vs original
Q3_K_M287 GB289 GB298 GB+4.7% perte sensible
Q4_K_M348 GB350 GB358 GB+1.2% très faible perte
Q5_K_M408 GB410 GB418 GB+0.4% quasi sans perte
Q6_K470 GB472 GB481 GB+0.2% quasi sans perte
Q8_0609 GB611 GB619 GB≈ 0% identique à l'original
F161145 GB1148 GB1156 GB≈ 0% identique à l'original

Poids + cache de contexte (d'après l'architecture du modèle) + runtime. Qualité : hausse de perplexity par rapport au modèle complet, d'après les tests llama.cpp, ajustée selon la taille du modèle. Simulez votre propre configuration.

Partager cette page :XLinkedInRedditWhatsApp