IndexCache – 清华联合智谱推出的稀疏注意力加速技术

IndexCache是什么

IndexCache 是清华与智谱团队推出的稀疏注意力加速技术，针对 DeepSeek 稀疏注意力（DSA）中索引器计算开销大的问题，通过跨层复用索引来减少冗余计算。IndexCache发现相邻层选择的 top-k token 重叠率高达 70%-100%，因此将层分为”全量层”（计算并缓存索引）和”共享层”（直接复用缓存）。此方法可去除 75% 的索引器计算，在 200K 上下文场景下实现预填充 1.82 倍、解码 1.48 倍加速，且几乎不损失模型性能，已在 30B 参数模型及 744B 参数的 GLM-5 上验证有效。

IndexCache的主要功能

• 跨层索引复用：用相邻层 top-k 索引 70%-100% 的高重叠率，让共享层直接复用全量层的缓存索引，避免重复计算。
• 大幅降低索引器开销：可去除 75% 的索引器计算，仅保留 1/4 索引器即可维持模型性能。
• 显著加速推理：在 200K 上下文下实现预填充 1.82 倍、解码 1.48 倍加速，缩短用户等待时间。
• 零额外内存开销：通过一个条件分支实现复用，无需分配额外 GPU 显存。
• 提供两种部署方案：无训练方案通过贪心搜索确定最优层模式，训练感知方案通过多层蒸馏损失优化索引器参数。
• 生产级验证：已在 30B 参数模型和 744B 参数的 GLM-5 上验证有效，支持 SGLang 和 vLLM 推理框架。

IndexCache的技术原理

• 跨层索引相似性发现：研究团队通过热力图分析发现，DSA 模型相邻层的索引器输出的 top-k token 集合具有极高相似性，重叠率普遍在 70% 至 100% 之间，表明大量索引计算存在冗余。
• 层角色划分机制：IndexCache 将模型层划分为两类：全量层（Full Layer）保留原有索引器，负责计算并缓存当前最新的 top-k 索引；共享层（Shared Layer）不再运行自身索引器，直接复用最近一个全量层所缓存的索引进行稀疏注意力计算。
• 动态模式选择策略：针对已训练模型，采用基于校准数据的贪心搜索算法，逐一尝试将层转为共享层并评估对模型输出的影响，保留关键层作为全量层；针对从头训练场景，引入多层蒸馏损失，让每个全量层索引器同时学习服务其后多个共享层的需求。
• 推理流程优化：在推理过程中，每层仅增加一个简单的条件判断，根据预设模式在计算新索引与复用缓存索引之间切换，实现索引器的跨层共享，无需修改模型架构或增加额外存储。

IndexCache的关键信息和使用要求

• 提出机构：清华大学与智谱（Z.ai）联合研发。
• 针对问题：解决 DeepSeek 稀疏注意力中索引器在长上下文场景下的计算瓶颈，200K token 时占预填充时间高达 81%。
• 核心原理：基于相邻层 top-k 索引 70%-100% 的高重叠率，通过跨层复用减少冗余计算。
• 加速效果：保留 1/4 索引器即可实现预填充 1.82 倍、解码 1.48 倍加速。
• 性能损失：几乎无质量损失，部分推理任务甚至表现更优。
• 验证模型：在 30B 参数 DSA 模型及 744B 参数 GLM-5 上均验证有效。
• 硬件要求：需 NVIDIA GPU（如 H100），但无需额外显存，复用标准 DSA 内存空间。
• 软件环境：支持 SGLang 或 vLLM 框架，提供现成补丁可直接用于 DeepSeek-V3.2、GLM-5 等模型。
• 无训练方案：适用已训练好的 DSA 模型，需准备小批量校准数据运行贪心搜索确定最优层模式。

IndexCache的核心优势