IMPACT：重要性感知的激活空间重建

基于摘要分析。该研究针对 LLM 在资源受限环境中的部署问题，提出 IMPACT，将激活的低秩结构与基于梯度的重要性结合，以降低模型规模并保留任务性能；研究对象是 LLM 压缩，而非 EEG 或 BCI 解码。 机制上，论文指出，传统低秩压缩通常最小化权重重建误差，但权重具有低秩结构的假设在 LLM 中往往不成立；相比之下，激活呈现更明显的低秩结构。IMPACT 进一步考虑不同激活维度对性能的贡献不等，将压缩表述为融合激活结构与梯度重要性的优化问题，并推导闭式解，其重建基由重要性加权的激活协方差矩阵得到。相较于均匀处理激活维度，核心区别是让重建过程反映各维度的性能敏感性；具体梯度定义、重要性估计方式及求解流程尚未验证。 作者报告，在多个模型和任务的实验中，相比其所称的现有先进基线，IMPACT 在准确率相当或更优的条件下，实现最高 55.4% 的更大模型规模缩减。摘要未交代该相对改善的具体计算口径、对应模型、任务、压缩预算和基线，不能将其解释为模型绝对缩小 55.4%，也不能据此推断实际推理加速或内存收益。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 预训练模型的中间激活也存在稳定低秩结构，且梯度重要性能够代表目标解码任务，可尝试复用其重要性加权重建机制，探索部署压缩。该假设依赖代表性校准数据及可计算任务梯度的监督目标，需改造激活采集与重要性估计流程。低信噪比、跨被试分布变化、通道配置差异和小数据可能使估计偏向校准集。一个可证伪的小实验是在固定 EEG 解码模型、相同校准数据和压缩预算下，对比权重重建、未加权激活重建与重要性加权重建，在被试隔离的测试集上同时测量任务表现、模型规模与实测延迟。已有 EEG 相关工作尚未检索确认。