FreeLLMTous les modèles › openbmb
MiniCPM-V-4.6
openbmb · licence ouverte · sorti le 13 avr. 2026
Où l'utiliser gratuitement
- Téléchargez-le et lancez-le chez vous : poids officiels · fichiers GGUF pour Ollama et LM Studio
Aucun vote Arena pour l'instant
Arena n'a pas voté pour ce modèle. Il figure ici parce que c'est un petit modèle populaire sur la page Hugging Face officielle de son laboratoire (191K téléchargements par mois).
Vitesse sur du matériel courant
| Matériel | Mémoire GPU | Ça tient ? | Vitesse |
|---|---|---|---|
| RTX 3060 12 GB | 12 GB | Tient dans le GPU | 191 tok/s |
| RTX 4060 Ti 16 GB | 16 GB | Tient dans le GPU | 159 tok/s |
| RTX 3090 | 24 GB | Tient dans le GPU | 380 tok/s |
| RTX 4090 | 24 GB | Tient dans le GPU | 398 tok/s |
| RTX 5090 | 32 GB | Tient dans le GPU | 540 tok/s |
| RX 7900 XTX | 24 GB | Tient dans le GPU | 386 tok/s |
| 2 × RTX 3090 | 48 GB | Tient dans le GPU | 369 tok/s |
| 4 × RTX 3090 | 96 GB | Tient dans le GPU | 349 tok/s |
| Mac M4 Max 128 GB | 96 GB | Tient dans le GPU | 159 tok/s |
| Ryzen AI Max+ 395 128 GB | 96 GB | Tient dans le GPU | 144 tok/s |
| 8 × H100 SXM | 640 GB | Tient dans le GPU | 568 tok/s |
Estimation en 4 bits avec un contexte de 32K et 64 GB de DDR5 pour le déchargement. Vitesse ≈ bande passante mémoire × 78 % ÷ données lues par token, plus un coût fixe par token, calibrée sur 44 tests llama.cpp réels ; erreur typique d'environ ±10 %. Comparer tous les GPU.
Mémoire GPU nécessaire
| Niveau | Contexte de 8K | Contexte de 32K | Contexte de 128K | Qualité vs original |
|---|---|---|---|---|
| Q3_K_M | 1.4 GB | 1.7 GB | 2.9 GB | +10.5% perte sensible |
| Q4_K_M | 1.5 GB | 1.8 GB | 3.0 GB | +2.8% faible perte |
| Q5_K_M | 1.6 GB | 1.9 GB | 3.1 GB | +0.9% très faible perte |
| Q6_K | 1.8 GB | 2.1 GB | 3.3 GB | +0.3% quasi sans perte |
| Q8_0 | 2.1 GB | 2.4 GB | 3.6 GB | ≈ 0% identique à l'original |
| F16 | 3.3 GB | 3.6 GB | 4.8 GB | ≈ 0% identique à l'original |
Poids + cache de contexte (d'après l'architecture du modèle) + runtime. Qualité : hausse de perplexity par rapport au modèle complet, d'après les tests llama.cpp, ajustée selon la taille du modèle. Simulez votre propre configuration.
Partager cette page :XLinkedInRedditWhatsApp
Un chiffre erroné ou un lien cassé ? Signalez une erreur