Voter dans Free Arena
FR

Tous les modèles › alibaba

Qwen2.5-VL-32B-Instruct

alibaba · licence Apache 2.0 · sur Arena depuis le 19 oct. 2026

Chat du laboratoire Télécharger
Score Arena1152n°119 sur 167 en Vision, modèles payants inclus
Taille33.5 Bparamètres
Téléchargement en 4 bits20 GBpoids seuls, Q4_K_M
Contexte max.125Ktokens, d'après la configuration du modèle

Où l'utiliser gratuitement

Scores Arena

ArenaScoreRangVotes
Vision1152n°119 sur 1671K

Rang parmi tous les modèles, payants inclus. Source : jeu de données du classement Arena.

Vitesse sur du matériel courant

MatérielMémoire GPUÇa tient ?Vitesse
RTX 3060 12 GB12 GBGPU + 64 GB de RAM3.7 tok/s
RTX 4060 Ti 16 GB16 GBGPU + 64 GB de RAM4.1 tok/s
RTX 309024 GBGPU + 64 GB de RAM9.6 tok/s
RTX 409024 GBGPU + 64 GB de RAM9.8 tok/s
RTX 509032 GBTient dans le GPU46 tok/s
RX 7900 XTX24 GBGPU + 64 GB de RAM9.6 tok/s
2 × RTX 309048 GBTient dans le GPU24 tok/s
4 × RTX 309096 GBTient dans le GPU23 tok/s
Mac M4 Max 128 GB96 GBTient dans le GPU14 tok/s
Ryzen AI Max+ 395 128 GB96 GBTient dans le GPU6.9 tok/s
8 × H100 SXM640 GBTient dans le GPU69 tok/s

Estimation en 4 bits avec un contexte de 32K et 64 GB de DDR5 pour le déchargement. Vitesse ≈ bande passante mémoire × 78 % ÷ données lues par token, plus un coût fixe par token, calibrée sur 44 tests llama.cpp réels ; erreur typique d'environ ±10 %. Comparer tous les GPU.

Mémoire GPU nécessaire

NiveauContexte de 8KContexte de 32KQualité vs original
Q3_K_M19 GB26 GB+6.7% perte sensible
Q4_K_M23 GB29 GB+1.8% faible perte
Q5_K_M27 GB33 GB+0.6% quasi sans perte
Q6_K30 GB37 GB+0.2% quasi sans perte
Q8_038 GB45 GB≈ 0% identique à l'original
F1670 GB76 GB≈ 0% identique à l'original

Poids + cache de contexte (d'après l'architecture du modèle) + runtime. Qualité : hausse de perplexity par rapport au modèle complet, d'après les tests llama.cpp, ajustée selon la taille du modèle. Simulez votre propre configuration.

Modèles gratuits similaires en Vision

Partager cette page :XLinkedInRedditWhatsApp