跳到正文
OpenReview · State space models· Giorgio Piras; Qi Zhao; Fabio Brau; Maura Pintor; Christian Wressnegger; Battista Biggio·· 2025-09-19精选AI 评分73

S2AP:用于对抗剪枝的分数空间尖锐度最小化

S2AP: Score-space Sharpness Minimization for Adversarial Pruning

AI 导读

基于摘要分析。本文研究神经网络在对抗鲁棒性约束下的压缩问题,提出插件式方法 Score-space Sharpness-aware Adversarial Pruning(S2AP),在剪枝掩码搜索阶段对权重重要性分数施加扰动,并最小化相应的鲁棒损失,以缓解分数空间尖锐局部极小值导致的掩码选择不稳定。 摘要描述的既有流程包括鲁棒模型预训练、二值权重掩码选择和剪枝后微调。掩码搜索通过优化权重的重要性分数,并保留分数最高的权重完成剪枝。S2AP 的干预对象是决定权重保留与否的分数空间,而非直接以权重空间为优化对象;其核心思路是在掩码搜索时引入分数空间尖锐度最小化。 作者报告,在多个数据集、模型和稀疏度设置下,S2AP 能降低分数空间尖锐度、稳定掩码选择,并提升对抗剪枝方法的鲁棒性。摘要未提供具体数据集、模型、稀疏度、攻击协议、对照基线或指标数值,因此无法量化改进或比较不同实验设置。分数扰动的约束与幅度、损失形式、额外计算开销,以及实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 解码模型已有鲁棒预训练与基于权重重要性分数的剪枝流程,可假设复用其掩码搜索机制,检验压缩后鲁棒性是否更稳定;但需改造与 EEG 信号相符的扰动约束。原方法依赖可优化的重要性分数与鲁棒损失,不能据此推定对跨被试或跨会话分布变化有效。低信噪比、通道差异和小数据条件可能使分数估计不稳定,或使面向局部对抗扰动的收益无法转化为实际解码收益。一个可检验的小实验是在固定 EEG 数据划分、同一鲁棒预训练模型及相同稀疏度下,对比原剪枝方法与加入 S2AP 后的掩码稳定性、干净与扰动输入下的 Accuracy,并记录计算开销。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其对重要性分数空间尖锐度与剪枝掩码稳定性的机制分析,以及作为插件改善对抗剪枝鲁棒性的适用条件;摘要尚不足以判断收益幅度与计算代价。

来源:OpenReview · State space models · openreview.net