Free Arenaで投票

ニュース··読了時間 1分·データは自動更新

NVIDIA details sparse‑attention design for faster long‑context inference

NVIDIA published a technical blog on Nov 17, 2026 describing a co‑design approach for sparse attention on GPUs.

NVIDIA published a technical blog on Nov 17, 2026 describing a co‑design approach for sparse attention on GPUs.

Sparse attention limits each query to a small set of keys, moving most scoring work to an indexer that runs as a batched matrix multiply.

The indexer and Top‑k stages together account for 47% of the pre‑fill time in DeepSeek V3.2 when processing 128 K tokens.

Fusing Top‑k into the indexer kernel removes logit write‑back and reusing the previous selection speeds Top‑k by 2.1‑2.4×.

あなたにとっての意味

For AI practitioners, the guidance helps build models that keep inference fast even with very long documents.

ソース

上記のソースから自動的に生成し、当社のコードでチェックしました:すべての数値と名前が含まれ、文がソースをコピーしてはいけません。間違いを見つけましたか?報告する。

無料ランキング

今日無料で使えるAIはどれですか?

すべての無料AIモデルをブラインドヒューマン投票で順位付けし、あなたのGPUで必要なメモリと速度を示します。

ランキングを開く →

このページを共有:XLinkedInRedditWhatsApp

どのページでも / または Ctrl+K で検索できます。