当标签空间缩小时:通过重计算梯度–残差敏感度实现任务自适应深度压缩
When the Label Space Shrinks: Task-Adaptive Depth Compression via Recomputed Gradient-Residual Sensitivity
基于摘要分析。研究针对分类器部署时仅需识别原始标签空间中部分类别的问题,提出无需训练的任务自适应深度压缩方法 Task-ReGRIP。其主要贡献不是缩小分类头,而是利用目标任务敏感度识别并移除网络主干中可绕过的残差块。 机制上,Task-ReGRIP 将残差块引入的表征变化与目标任务损失梯度结合,估计绕过该块造成的一阶扰动。方法逐次移除敏感度最低的块,并在每次结构变化后重新计算所有剩余候选块的敏感度;压缩过程中不进行恢复训练或参数更新。“无需训练”不等于无需目标任务数据:梯度估计所用样本、监督来源及损失定义仍需全文核对。 作者在 CIFAR-100 上,使用经增长式训练的 ResNet 和 MobileNetV2,评估多个目标标签空间大小。作者报告:在 12 条压缩路径各自的最大删除预算下,以所选类别官方测试图像中的评估半集为评估数据,相对对应未压缩参考模型的 Accuracy 变化为 −1.2 至 +1.0 个百分点;其中 ResNet 模型约移除三分之一的块。该结果支持所评估设置下较大幅度删减深度且目标任务 Accuracy 变化有限,不代表所有架构均达到相同删块比例,也不能直接等同于实际延迟或能耗收益。样本划分、敏感度计算与评估数据的隔离、对照方法、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 分类器部署时仅保留部分任务类别,且主干含可绕过的残差块,可检验目标任务敏感度是否有助于压缩。可复用删块与重算流程,但需适配 EEG 输入、目标损失和校准数据;低信噪比、小样本及跨被试偏移可能使梯度排序不稳定。一个小规模可证伪实验是在固定 Cross-subject 划分下,仅用训练侧目标类别样本计算敏感度,在相同删块预算下比较 Task-ReGRIP 与随机删块的目标类别 Accuracy 和实测延迟,保留测试被试作独立评估。已有 EEG 相关工作尚未检索确认。
值得核对 Task-ReGRIP 在每次删块后重算任务敏感度的机制,以及其无需恢复训练的压缩效果;但摘要证据限于 CIFAR-100 的标签子集部署,不能据此确认 EEG/BCI 适用性。
来源:OpenReview · State space models · openreview.net