NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16: novidades, hardware necessário, como rodar grátis

O modelo Dory da NVIDIA aceita até 256 K tokens em um único prompt. Ele permite trocar computação extra por mais precisão sem trocar de modelo.

O NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 é um modelo de linguagem de 4 bilhões de parâmetros lançado em 16 de outubro de 2026. Segue uma arquitetura em loop com recorrência latente, em que um bloco recorrente compartilhado é aplicado repetidamente entre as camadas de entrada e de saída. O modelo roda com precisão BF16 e aceita contexto de até 256 K tokens, o que o torna adequado para prompts muito longos. Tem licença OpenMDW 1.1, que permite uso comercial e não comercial.

Segundo a NVIDIA, o Dory introduz computação de inferência elástica: um único checkpoint pode rodar com um, dois ou quatro loops, permitindo equilibrar velocidade e precisão na hora. O loop faz o modelo pensar mais no espaço latente, então ele precisa de menos tokens gerados para resolver uma tarefa. O loop econômico em memória é obtido com o cache KV do último loop, que guarda apenas um cache por camada recorrente, qualquer que seja o número de loops. O modelo foi pré-treinado primeiro no formato NVFP4 de 4 bits da NVIDIA antes de continuar em BF16.

A ficha do modelo lista vários resultados de benchmarks medidos pela NVIDIA com um mesmo harness. Com dois loops, o Dory marca 59.5 no benchmark de programação SWE-bench Verified, superando os 50.3 com um loop. No Terminal-Bench 2.1, quatro loops chegam a 43, contra 12.5 com um loop. Em raciocínio, o teste GPQA Diamond dá 69.19 com um único loop. O conhecimento geral, medido pelo AA-Omniscience, mostra precisão de 10.03 com um loop. Esses números mostram como loops adicionais melhoram o desempenho em tarefas de agentes e de programação.

O maior ponto forte do Dory é o contexto de 256 K tokens, que permite prompts ou documentos extensos. O loop elástico dá controle fino: um loop minimiza a computação, enquanto dois ou quatro loops aumentam a precisão em tarefas mais difíceis. Porém, o modelo foi treinado apenas para inglês, então o uso multilíngue é limitado. Adicionar loops também aumenta a latência por token, então aplicações em tempo real podem preferir a configuração de um loop.

Se você precisa trabalhar com documentos muito longos, ou quer experimentar a computação de inferência elástica, o Dory é uma boa escolha. Ele também é útil para desenvolvedores de assistentes de programação, pois os benchmarks mostram bom desempenho em tarefas de agentes com dois ou quatro loops. Como os pesos estão disponíveis de graça no Hugging Face, qualquer pessoa pode baixar e rodar o modelo localmente.

O que você precisa para rodá-lo em casa? Com 4 bits, ele ocupa cerca de 5 gigabytes de memória. A menor máquina doméstica que o comporta por inteiro é RTX 4060. Em RTX 3060 12 GB com 32 gigabytes de RAM, ele escreve cerca de 90 tokens por segundo. Em RTX 4090 com 64 gigabytes de RAM, ele escreve cerca de 217 tokens por segundo.

Ainda não há API grátis para ele. Os pesos são abertos: você pode baixá-los do Hugging Face sob outra licença. A Arena ainda não o classificou: adicionamos a pontuação assim que os votos chegarem.

Compare o NVIDIA Nemotron Labs Dory1.0 4B BF16 com todos os modelos grátis e veja o que a sua própria GPU consegue rodar, no FreeLLMArena.