深度状态空间模型的对抗鲁棒性探索
Exploring Adversarial Robustness of Deep State Space Models
基于摘要分析。本文研究深度状态空间模型(SSMs)能否从对抗训练(AT)中获得鲁棒性提升,以及不同结构组件如何影响这一过程。作者结合经验与理论分析,考察对抗扰动下的输出误差,并提出 Adaptive Scaling(AdS)机制,旨在改善鲁棒性与泛化之间的权衡。 核心机制:作者报告,纯 SSM 结构难以充分受益于 AT;相较于其他组件,引入 Attention 能带来更好的鲁棒性与泛化权衡,但也会引入 Robust Overfitting(RO,鲁棒过拟合)。其分析指出,固定参数化 SSM 的输出误差界与模型参数严格相关,限制了 AT 的收益;输入依赖型 SSM 则可能出现误差爆炸。作者认为,Attention 能在训练过程中有效缩放 SSM 的输出误差,但其较高模型复杂度也带来 RO 风险。AdS 据此采用自适应缩放思路,但具体公式、插入位置及训练实现尚未验证。 结果与证据边界:作者报告,AdS 的 AT 表现接近融合 Attention 的 SSM,且未引入 RO。摘要没有提供任务、数据集、攻击方法与预算、评估指标或数值,因此不能量化提升,也不能判断结论在不同攻击与模型规模下是否成立。实验协议、消融及统计信息尚未验证;复现需核对误差界的假设、AT 配置、模型容量对照及 RO 的判定方式。 平台推测(待验证):该机制可能对应 EEG 序列模型对输入扰动敏感的问题,但原研究并非 EEG/BCI 验证。可复用的是扰动误差分析与自适应缩放思路,需改造的是 EEG 输入表示、通道处理及具有生理意义的扰动约束。其效果可能依赖 SSM 参数化方式、监督任务与训练规模;低信噪比、跨被试差异、通道变化及小数据可能使缩放同时抑制任务相关信号。一个可证伪的小实验是在固定 Cross-subject 划分与相同扰动预算下,对照纯 SSM、融合 Attention 的 SSM 与加入 AdS 的 SSM,同时检查干净输入表现、对抗表现及训练后期的 RO。已有 EEG 相关工作尚未检索确认。
该研究从扰动下的输出误差分析解释不同 SSM 结构的对抗训练表现,并提出 Adaptive Scaling 作为 Attention 的替代机制,值得核对其误差界条件、鲁棒过拟合评估及复现结果。
来源:OpenReview · State space models · openreview.net