Voter dans Free Arena

Tous les modèles › microsoft

Phi-4-reasoning

microsoft · licence ouverte · sorti le 9 avr. 2025

Télécharger Aucun vote Arena
Score Arena—Pas encore de vote sur Arena
Taille14.7 Bparamètres
Téléchargement en 4 bits8.9 GBpoids seuls, Q4_K_M
Contexte max.32Ktokens, d'après la configuration du modèle

Où l'utiliser gratuitement

Aucun vote Arena pour l'instant

Arena n'a pas voté pour ce modèle. Il figure ici parce que c'est un petit modèle populaire sur la page Hugging Face officielle de son laboratoire (27K téléchargements par mois).

Vitesse sur du matériel courant

MatérielMémoire GPUÇa tient ?Vitesse
RTX 3060 12 GB12 GBGPU + 64 GB de RAM10 tok/s
RTX 4060 Ti 16 GB16 GBGPU + 64 GB de RAM14 tok/s
RTX 309024 GBTient dans le GPU45 tok/s
RTX 409024 GBTient dans le GPU48 tok/s
RTX 509032 GBTient dans le GPU82 tok/s
RX 7900 XTX24 GBTient dans le GPU46 tok/s
2 × RTX 309048 GBTient dans le GPU43 tok/s
4 × RTX 309096 GBTient dans le GPU41 tok/s
Mac M4 Max 128 GB96 GBTient dans le GPU25 tok/s
Ryzen AI Max+ 395 128 GB96 GBTient dans le GPU13 tok/s
8 × H100 SXM640 GBTient dans le GPU118 tok/s

Estimation en 4 bits avec un contexte de 32K et 64 GB de DDR5 pour le déchargement. Vitesse ≈ bande passante mémoire × 78 % ÷ données lues par token, plus un coût fixe par token, calibrée sur 44 tests llama.cpp réels ; erreur typique d'environ ±10 %. Comparer tous les GPU.

Mémoire GPU nécessaire

NiveauContexte de 8KContexte de 32KQualité vs original
Q3_K_M9.6 GB15 GB+8.9% perte sensible
Q4_K_M11 GB16 GB+2.4% faible perte
Q5_K_M13 GB18 GB+0.8% très faible perte
Q6_K14 GB19 GB+0.3% quasi sans perte
Q8_018 GB23 GB≈ 0% identique à l'original
F1632 GB37 GB≈ 0% identique à l'original

Poids + cache de contexte (d'après l'architecture du modèle) + runtime. Qualité : hausse de perplexity par rapport au modèle complet, d'après les tests llama.cpp, ajustée selon la taille du modèle. Simulez votre propre configuration.

Partager cette page :XLinkedInRedditWhatsApp