FreeLLMTodos os modelos › ServiceNow-AI
Apriel-Nemotron-15b-Thinker
ServiceNow-AI · licença aberta · lançado em 6 mai. 2025
Onde usar de graça
- Execute em um comando com whichllm (gratuito, código aberto):
uvx whichllm@latest plan "Apriel-Nemotron-15b-Thinker"mostra a GPU que você precisa,uvx whichllm@latest run "Apriel-Nemotron-15b-Thinker gguf"a baixa e inicia um chat - Baixe e rode em casa: pesos oficiais · arquivos GGUF para Ollama e LM Studio
Ainda sem votos na Arena
A Arena ainda não votou neste modelo. Ele aparece aqui por ser um modelo pequeno popular na página oficial do laboratório no Hugging Face (3K downloads por mês).
Velocidade em hardware popular
| Hardware | Memória da GPU | Cabe? | Velocidade |
|---|---|---|---|
| RTX 3060 12 GB | 12 GB | GPU + 64 GB de RAM | 10 tok/s |
| RTX 4060 Ti 16 GB | 16 GB | GPU + 64 GB de RAM | 13 tok/s |
| RTX 3090 | 24 GB | Cabe na GPU | 44 tok/s |
| RTX 4090 | 24 GB | Cabe na GPU | 47 tok/s |
| RTX 5090 | 32 GB | Cabe na GPU | 81 tok/s |
| RX 7900 XTX | 24 GB | Cabe na GPU | 45 tok/s |
| 2 × RTX 3090 | 48 GB | Cabe na GPU | 43 tok/s |
| 4 × RTX 3090 | 96 GB | Cabe na GPU | 41 tok/s |
| Mac M4 Max 128 GB | 96 GB | Cabe na GPU | 25 tok/s |
| Ryzen AI Max+ 395 128 GB | 96 GB | Cabe na GPU | 12 tok/s |
| 8 × H100 SXM | 640 GB | Cabe na GPU | 117 tok/s |
Estimativa com 4 bits e contexto de 32K, com 64 GB de DDR5 para offload. Velocidade ≈ largura de banda da memória × 78% ÷ dados lidos por token, mais um custo fixo por token, calibrada em 44 testes reais com llama.cpp; erro típico de cerca de ±10%. Compare todas as GPUs.
Memória de GPU necessária
| Nível | Contexto de 8K | Contexto de 32K | Qualidade vs. completo |
|---|---|---|---|
| Q3_K_M | 9.8 GB | 15 GB | +8.8% perda perceptível |
| Q4_K_M | 11 GB | 16 GB | +2.4% perda pequena |
| Q5_K_M | 13 GB | 18 GB | +0.8% perda muito pequena |
| Q6_K | 15 GB | 20 GB | +0.3% quase sem perda |
| Q8_0 | 18 GB | 23 GB | ≈ 0% igual ao completo |
| F16 | 32 GB | 37 GB | ≈ 0% igual ao completo |
Pesos + cache de contexto (a partir da arquitetura do modelo) + runtime. Qualidade: aumento em perplexity em relação ao modelo completo, com base em testes com llama.cpp, ajustado pelo tamanho do modelo. Simule a sua configuração.
Compartilhe esta página:XLinkedInRedditWhatsApp
Viu um número errado ou um link quebrado? Informe um erro