Vota in Free Arena

Notizie··1 min di lettura·Dati aggiornati automaticamente

NVIDIA descrive il design sparse‑attention per inferenza più veloce su contesti lunghi

NVIDIA ha pubblicato un blog tecnico il 17 novembre 2026, descrivendo un approccio di co‑design per sparse attention su GPU.

NVIDIA ha pubblicato un blog tecnico il 17 novembre 2026, descrivendo un approccio di co‑design per sparse attention su GPU.

Sparse attention limits each query to a small set of keys, moving most scoring work to an indexer that runs as a batched matrix multiply.

The indexer and Top‑k stages together account for 47% of the pre‑fill time in DeepSeek V3.2 when processing 128 K tokens.

Fusing Top‑k into the indexer kernel removes logit write‑back and reusing the previous selection speeds Top‑k by 2.1‑2.4×.

Cosa significa per te

For AI practitioners, the guidance helps build models that keep inference fast even with very long documents.

Fonti

Scritto automaticamente dalle fonti sopra, poi controllato dal nostro codice: ogni numero e nome deve comparire, e nessuna frase può copiare una fonte. Hai trovato un errore? Segnalalo.

Classifica dei modelli gratis

Quale AI puoi usare gratis oggi?

Tutti i modelli AI gratuiti, classificati da voti umani anonimi, con la memoria e la velocità necessarie sulla tua GPU.

Apri la classifica →

Condividi questa pagina:XLinkedInRedditWhatsApp

Premi / o Ctrl+K per cercare da qualsiasi pagina.