Vote na Free Arena
PT

Todos os modelos › nvidia

NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16

nvidia · lançado em 9 out. 2026

Chat do laboratório Download Novo · aguardando votos da Arena
Pontuação Arena—Ainda sem votos na Arena
Tamanho74.9 B9 B ativos por token (mistura de especialistas)
Download de 4 bits45 GBsó os pesos, Q4_K_M
Contexto máximo256Ktokens, segundo a configuração do modelo

Onde usar de graça

Novo: aguardando votos da Arena

Lançado em 9 out. 2026. A Arena ainda não votou neste modelo. Assim que votar, o modelo entra no ranking automaticamente, em geral na noite seguinte. Até lá, você já pode ver abaixo o tamanho, a memória necessária e a velocidade.

Velocidade em hardware popular

HardwareMemória da GPUCabe?Velocidade
RTX 3060 12 GB12 GBGPU + 64 GB de RAM16 tok/s
RTX 4060 Ti 16 GB16 GBGPU + 64 GB de RAM17 tok/s
RTX 309024 GBGPU + 64 GB de RAM24 tok/s
RTX 409024 GBGPU + 64 GB de RAM24 tok/s
RTX 509032 GBGPU + 64 GB de RAM36 tok/s
RX 7900 XTX24 GBGPU + 64 GB de RAM24 tok/s
2 × RTX 309048 GBCabe na GPU91 tok/s
4 × RTX 309096 GBCabe na GPU86 tok/s
Mac M4 Max 128 GB96 GBCabe na GPU50 tok/s
Ryzen AI Max+ 395 128 GB96 GBCabe na GPU32 tok/s
8 × H100 SXM640 GBCabe na GPU166 tok/s

Estimativa com 4 bits e contexto de 32K, com 64 GB de DDR5 para offload. Velocidade ≈ largura de banda da memória × 78% ÷ dados lidos por token, mais um custo fixo por token, calibrada em 44 testes reais com llama.cpp; erro típico de cerca de ±10%. Compare todas as GPUs.

Memória de GPU necessária

NívelContexto de 8KContexto de 32KContexto de 128KQualidade vs. completo
Q3_K_M38 GB38 GB39 GB+4.7% perda perceptível
Q4_K_M46 GB46 GB47 GB+1.2% perda muito pequena
Q5_K_M54 GB54 GB55 GB+0.4% quase sem perda
Q6_K62 GB62 GB63 GB+0.2% quase sem perda
Q8_080 GB80 GB81 GB≈ 0% igual ao completo
F16150 GB151 GB151 GB≈ 0% igual ao completo

Pesos + cache de contexto (a partir da arquitetura do modelo) + runtime. Qualidade: aumento em perplexity em relação ao modelo completo, com base em testes com llama.cpp, ajustado pelo tamanho do modelo. Simule a sua configuração.

Compartilhe esta página:XLinkedInRedditWhatsApp