Voter dans Free Arena

Actualités··1 min de lecture·Données mises à jour automatiquement

NVIDIA details sparse‑attention design for faster long‑context inference

NVIDIA published a technical blog on Nov 17, 2026 describing a co‑design approach for sparse attention on GPUs.

NVIDIA published a technical blog on Nov 17, 2026 describing a co‑design approach for sparse attention on GPUs.

Sparse attention limits each query to a small set of keys, moving most scoring work to an indexer that runs as a batched matrix multiply.

The indexer and Top‑k stages together account for 47% of the pre‑fill time in DeepSeek V3.2 when processing 128 K tokens.

Fusing Top‑k into the indexer kernel removes logit write‑back and reusing the previous selection speeds Top‑k by 2.1‑2.4×.

Ce que cela signifie pour vous

For AI practitioners, the guidance helps build models that keep inference fast even with very long documents.

Sources

Rédigé automatiquement à partir des sources ci‑dessus, puis vérifié par notre code : chaque nombre et chaque nom doivent y figurer, et aucune phrase ne doit copier une source. Une erreur ? Signalez‑la.

Classement gratuit

Quelle IA pouvez‑vous utiliser gratuitement aujourd’hui ?

Tous les modèles IA gratuits, classés par votes humains anonymes, avec la mémoire et la vitesse dont ils ont besoin sur votre propre GPU.

Ouvrir le classement →

Partager cette page :XLinkedInRedditWhatsApp

Appuyez sur / ou Ctrl+K pour rechercher depuis n’importe quelle page.