探索深度状态空间模型的对抗鲁棒性
Exploring Adversarial Robustness of Deep State Space Models
基于摘要分析。本文研究深度 State Space Models(SSMs)在对抗扰动下的鲁棒性,重点考察标准训练中有效的结构改进能否同样提升对抗训练收益。作者通过结构变体评估及输出误差的经验与理论分析,提出 Adaptive Scaling(AdS)机制,旨在改善对抗训练表现并避免鲁棒过拟合。 作者报告,在摘要所述对抗训练评估中,纯 SSM 结构难以充分受益于对抗训练;相比其他组件,引入 Attention 能获得更好的鲁棒性与泛化权衡,但同时出现 Robust Overfitting(RO,鲁棒过拟合)。摘要未提供具体任务、数据集、攻击方式、扰动预算、对照模型或数值,因此这些结论的适用范围尚需核对全文。 机制上,作者将上述差异联系到对抗扰动引起的输出误差:固定参数化 SSM 的输出误差界与其参数紧密相关,限制了对抗训练收益;输入依赖的 SSM 则可能发生误差爆炸。作者认为,Attention 在训练中能够有效缩放 SSM 的输出误差,但其较高模型复杂度也会引入鲁棒过拟合。作者报告,AdS 的对抗训练表现接近集成 Attention 的 SSM,且未引入 RO;其缩放公式、作用位置、训练损失及结论成立条件尚未验证,实验协议、消融及统计信息亦尚未验证。 平台推测(待验证):若 EEG 解码采用 SSM 建模多通道时序,AdS 的误差缩放思路可能用于研究输入扰动下的预测稳定性,而不是直接视为已验证的 BCI 改进。原论文涉及结构变体与对抗训练,但其数据结构、监督方式及训练规模尚不明确;迁移需保留可核对的 SSM 与缩放实现,改造 EEG 输入表征、任务输出和符合信号特性的扰动约束。低信噪比、通道尺度差异、跨被试分布变化及小数据条件下,对抗训练可能抑制有效信号或降低干净样本表现。一个可检验的小实验是在同一 EEG 任务与固定被试划分下,对比纯 SSM、SSM+Attention 和 SSM+AdS,统一训练与攻击预算,同时报告干净样本及受扰样本的同一指标,并检查训练后期的鲁棒过拟合。已有 EEG 相关工作尚未检索确认。
值得阅读其对 SSM 参数化方式、Attention 与对抗训练收益之间关系的分析,以及 Adaptive Scaling 能否在不引入鲁棒过拟合的情况下替代 Attention 的验证;具体实验协议与效果尚未验证。
来源:OpenReview · State space models · openreview.net