NVIDIA descrive il design sparse‑attention per inferenza più veloce su contesti lunghi
NVIDIA ha pubblicato un blog tecnico il 17 novembre 2026, descrivendo un approccio di co‑design per sparse attention su GPU.
NVIDIA ha pubblicato un blog tecnico il 17 novembre 2026, descrivendo un approccio di co‑design per sparse attention su GPU.
Sparse attention limits each query to a small set of keys, moving most scoring work to an indexer that runs as a batched matrix multiply.
The indexer and Top‑k stages together account for 47% of the pre‑fill time in DeepSeek V3.2 when processing 128 K tokens.
Fusing Top‑k into the indexer kernel removes logit write‑back and reusing the previous selection speeds Top‑k by 2.1‑2.4×.
Cosa significa per te
For AI practitioners, the guidance helps build models that keep inference fast even with very long documents.
Fonti
- Co-Designing Sparse Attention for Efficient Long-Context Inference, NVIDIA Developer (official), 17 Nov 2026
Scritto automaticamente dalle fonti sopra, poi controllato dal nostro codice: ogni numero e nome deve comparire, e nessuna frase può copiare una fonte. Hai trovato un errore? Segnalalo.
Quale AI puoi usare gratis oggi?
Tutti i modelli AI gratuiti, classificati da voti umani anonimi, con la memoria e la velocità necessarie sulla tua GPU.