https://blogs.atomage.cn/tags/dsa/ Recent content in DSA on Atomage's Blog Hugo zh-cn Tue, 23 Jun 2026 09:05:11 +0800 https://blogs.atomage.cn/posts/2026-06-23-indexcache/ Tue, 23 Jun 2026 09:05:11 +0800 https://blogs.atomage.cn/posts/2026-06-23-indexcache/ <p><img src="../../images/2026-06/indexcache-layer-similarity.png" alt=""></p> <h2 id="技术背景"> 技术背景<a class="hash-link" href="#%e6%8a%80%e6%9c%af%e8%83%8c%e6%99%af" title="Direct link to heading">#</a> </h2><h3 id="mla-已经解决了-kv-cache-存储问题"> MLA 已经解决了 KV Cache 存储问题<a class="hash-link" href="#mla-%e5%b7%b2%e7%bb%8f%e8%a7%a3%e5%86%b3%e4%ba%86-kv-cache-%e5%ad%98%e5%82%a8%e9%97%ae%e9%a2%98" title="Direct link to heading">#</a> </h3><p>DeepSeek-V2 提出的 <strong>MLA（Multi-head Latent Attention）</strong> 将 KV Cache 压缩到了极低的水平：</p> <ul> <li>每 token 仅缓存 <strong>576 个元素</strong>（512 维压缩隐向量 + 64 维 RoPE 分量）</li> <li>相当于 MHA 的 <strong>1.76%</strong></li> <li>128K 上下文下，FP8 KV Cache 仅需 <strong>8.72 GB</strong>（对比 Llama-70B 的 343 GB）</li> </ul> <p>MLA 的压缩技巧在于：K 和 V 共享一个低秩隐向量 $c_t^{KV} \in \mathbb{R}^{512}$，推理时通过矩阵吸收技巧避免显式恢复高维 K/V。但是，MLA 仍然是<strong>全注意力</strong>——每个 query token 仍然要计算与所有历史 token 的注意力分数。当上下文长度增长到 128K 以上时，注意力计算量本身成为新瓶颈。</p> <h3 id="从全注意力到稀疏注意力"> 从全注意力到稀疏注意力<a class="hash-link" href="#%e4%bb%8e%e5%85%a8%e6%b3%a8%e6%84%8f%e5%8a%9b%e5%88%b0%e7%a8%80%e7%96%8f%e6%b3%a8%e6%84%8f%e5%8a%9b" title="Direct link to heading">#</a> </h3><blockquote> <p>DeepSeek-V3.2 引入的 <strong>DSA（DeepSeek Sparse Attention）</strong> 直接解决计算瓶颈：不再计算所有 token 的注意力，而是只选择 Top-K 个最重要的历史 token。闪电索引器 <strong>(Lightning Indexer）</strong> 是一个轻量级的注意力模块，为每个 query 快速计算与所有 key 的粗粒度相关性分数，然后通过 <strong>Top-K Selector</strong> 选出 top-k 个最相关的 token 索引。</p>