NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16: novità, hardware necessario, come usarlo gratis

Il modello Dory di NVIDIA gestisce fino a 256 K token in un singolo prompt. Permette di scambiare calcolo extra con maggiore precisione senza cambiare modello.

NVIDIA‑Nemotron‑Labs‑Dory1.0‑4B‑BF16 è un modello linguistico da 4 miliardi di parametri, uscito il 16 ottobre 2026. Segue un'architettura ciclica a ricorrenza latente, in cui un blocco ricorrente condiviso viene applicato più volte tra gli strati di ingresso e di uscita. Il modello gira in precisione BF16 e supporta un contesto fino a 256 K token, adatto a prompt molto lunghi. È sotto licenza OpenMDW 1.1, che consente l'uso commerciale e non commerciale.

Secondo NVIDIA, Dory introduce il calcolo di inferenza elastico: un singolo checkpoint può girare con uno, due o quattro cicli, così puoi bilanciare velocità e precisione al volo. I cicli permettono al modello di ragionare di più nello spazio latente, quindi servono meno token generati per risolvere un compito. L'efficienza in memoria si ottiene con la cache KV dell'ultimo ciclo, che tiene una sola cache per strato ricorrente a prescindere dal numero di cicli. Il modello è stato prima preaddestrato nel formato NVFP4 a 4 bit di NVIDIA, poi proseguito in BF16.

La scheda del modello elenca vari punteggi di benchmark misurati da NVIDIA con un banco di prova coerente. Con due cicli, Dory ottiene 59.5 nel benchmark di programmazione SWE‑bench Verified, battendo il 50.3 con un ciclo. In Terminal‑Bench 2.1, quattro cicli arrivano a 43, contro 12.5 con un ciclo. Nel ragionamento, il test GPQA Diamond dà 69.19 con un solo ciclo. La conoscenza generale misurata da AA‑Omniscience mostra un'accuratezza di 10.03 con un ciclo. Questi numeri mostrano come più cicli migliorino le prestazioni nei compiti da agente e di programmazione.

Il punto di forza maggiore di Dory è il contesto da 256 K token, che permette prompt o documenti molto estesi. I cicli elastici danno un controllo fine: un ciclo riduce al minimo il calcolo, mentre due o quattro cicli aumentano la precisione sui compiti più difficili. Però il modello è addestrato solo per l'inglese, quindi l'uso multilingue è limitato. Più cicli aumentano anche la latenza per token, perciò le applicazioni in tempo reale potrebbero preferire un solo ciclo.

Se devi lavorare con documenti molto lunghi, o vuoi sperimentare con il calcolo di inferenza elastico, Dory fa al caso tuo. È utile anche per chi sviluppa assistenti di programmazione, perché i benchmark mostrano buone prestazioni nei compiti da agente con due o quattro cicli. Poiché i pesi sono liberamente disponibili su Hugging Face, chiunque può scaricare ed eseguire il modello in locale.

Cosa serve per eseguirlo a casa? A 4 bit occupa circa 5 gigabyte di memoria. Il computer di casa più piccolo che lo contiene per intero è un RTX 4060. Su un RTX 3060 12 GB con 32 gigabyte di RAM scrive circa 90 token al secondo. Su un RTX 4090 con 64 gigabyte di RAM scrive circa 217 token al secondo.

Per ora non c'è un'API gratuita. I pesi sono aperti: puoi scaricarli da Hugging Face con un'altra licenza. Arena non l'ha ancora classificato: aggiungeremo il punteggio appena arrivano i voti.

Confronta NVIDIA Nemotron Labs Dory1.0 4B BF16 con tutti i modelli gratis e scopri cosa può eseguire la tua scheda video, su FreeLLMArena.