NVIDIA detalha o design de atenção esparsa para inferência mais rápida em contextos longos
NVIDIA publicou um blog técnico em 17 de nov., 2026, descrevendo uma abordagem de co‑design para atenção esparsa em GPUs.
NVIDIA publicou um blog técnico em 17 de nov., 2026, descrevendo uma abordagem de co‑design para atenção esparsa em GPUs.
Sparse attention limits each query to a small set of keys, moving most scoring work to an indexer that runs as a batched matrix multiply.
The indexer and Top‑k stages together account for 47% of the pre‑fill time in DeepSeek V3.2 when processing 128 K tokens.
Fusing Top‑k into the indexer kernel removes logit write‑back and reusing the previous selection speeds Top‑k by 2.1‑2.4×.
O que isso significa para você
For AI practitioners, the guidance helps build models that keep inference fast even with very long documents.
Fontes
- Co-Designing Sparse Attention for Efficient Long-Context Inference, NVIDIA Developer (official), 17 Nov 2026
Escrito automaticamente a partir das fontes acima, depois verificado pelo nosso código: todo número e nome deve aparecer nelas, e nenhuma frase pode copiar uma fonte. Encontrou um erro? Reporte‑o.
Qual IA você pode usar grátis hoje?
Todo modelo de IA gratuito, classificado por votos humanos cegos, com a memória e velocidade que ele precisa na sua própria GPU.