技术背景#

MLA 已经解决了 KV Cache 存储问题#

DeepSeek-V2 提出的 MLA（Multi-head Latent Attention） 将 KV Cache 压缩到了极低的水平：

• 每 token 仅缓存 576 个元素（512 维压缩隐向量 + 64 维 RoPE 分量）
• 相当于 MHA 的 1.76%
• 128K 上下文下，FP8 KV Cache 仅需 8.72 GB（对比 Llama-70B 的 343 GB）

MLA 的压缩技巧在于：K 和 V 共享一个低秩隐向量 $c_t^{KV} \in \mathbb{R}^{512}$，推理时通过矩阵吸收技巧避免显式恢复高维 K/V。但是，MLA 仍然是全注意力——每个 query token 仍然要计算与所有历史 token 的注意力分数。当上下文长度增长到 128K 以上时，注意力计算量本身成为新瓶颈。

从全注意力到稀疏注意力#

DeepSeek-V3.2 引入的 DSA（DeepSeek Sparse Attention） 直接解决计算瓶颈：不再计算所有 token 的注意力，而是只选择 Top-K 个最重要的历史 token。闪电索引器 (Lightning Indexer） 是一个轻量级的注意力模块，为每个 query 快速计算与所有 key 的粗粒度相关性分数，然后通过 Top-K Selector 选出 top-k 个最相关的 token 索引。