#Calibration

SparseDecoding：面向准确高效 LLM 推理的解码感知剪枝

基于摘要分析。该研究针对 LLM 解码阶段受内存带宽限制，以及固定自然文本剪枝校准与模型自生成序列之间的分布偏移，提出 SparseDecoding：用稠密模型自回归生成时的逐层激活校准剪枝，并结合面向解码的稀疏计算内核，提高剪枝后的生成质量与推理效率。 机制上，作者指出，常见基于 Hessian 的逐层免训练剪枝使用预先收集的自然文本计算校准信息，而实际解码输入包含模型自生成 token；两类序列对应的 Hessian 与激活分布存在差异，可能损害剪枝模型的生成表现。SparseDecoding 从稠密模型自回归生成过程收集逐层激活并构建校准矩阵，明确排除 prefill 阶段，使剪枝目标更贴近解码阶段的激活。具体剪枝目标、Hessian 计算方式、稀疏率与校准样本规模尚未验证。 系统上，该方法针对解码中占主导的稀疏矩阵–向量乘法（SpMV），而非主要优化稀疏矩阵–矩阵乘法（SpMM），设计采用位掩码索引与固定步长遍历的 N:M 稀疏内核。其实际收益需要结合稀疏模式、生成长度、批大小及内核调用开销核对，不能仅由非零参数减少推断。 作者报告，在 Llama-3.1-8B、Llama-3.3-70B、Qwen3-14B / 32B 的长文本生成基准上，该方法持续优于标准固定文本校准，并在 A100 GPU 上获得最高 1.48 倍的端到端实际墙钟解码加速。摘要未给出基准名称、生成质量指标、加速峰值对应模型与配置，以及计时对照的具体设置；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可借鉴之处是让压缩校准数据匹配部署时的输入与激活分布，但这依赖自回归生成这一数据结构，不等同于已验证的 EEG/BCI 域适应方案。摘要未提供直接的 EEG 迁移机制或验证，已有 EEG 相关工作尚未检索确认。复现需取得校准生成流程、剪枝配置、内核实现及硬件计时协议；代码是否公开尚未验证。