跳到正文
OpenReview · State space models· Biqing Qi; Yang Luo; Junqi Gao; Pengfei Li; Kai Tian; Zhiyuan Ma; Bowen Zhou·· 2024-01-01精选AI 评分77

探索深度状态空间模型的对抗鲁棒性

Exploring Adversarial Robustness of Deep State Space Models

AI 导读

基于摘要分析。本文研究深度状态空间模型(SSMs)能否从 Adversarial Training(AT,对抗训练)中获益,以及不同结构组件如何影响对抗鲁棒性与泛化。作者结合结构变体评估、经验分析和理论分析,提出 Adaptive Scaling(AdS,自适应缩放)机制,旨在取得接近融合 Attention 的 SSM 的 AT 表现,同时避免 Robust Overfitting(RO,鲁棒过拟合)。 作者报告,在其摘要所述的结构变体评估中,纯 SSM 结构较难从 AT 中获益;相比其他组件,引入 Attention 能获得更好的鲁棒性与泛化权衡,但也带来 RO。摘要未提供数据集、任务、攻击类型、扰动约束、对照模型或具体指标,因此这些结论的适用范围尚待核对,不能据此认定所有 SSM 都具有相同表现。 机制方面,作者报告,固定参数化 SSM 的扰动输出误差界受到模型参数的严格约束,限制了 AT 的收益;输入依赖的 SSM 则可能出现误差爆炸。作者进一步认为,Attention 在训练中有效缩放了 SSM 的输出误差,使其更容易受益于 AT,但较高模型复杂度会引入 RO。AdS 据此采用自适应缩放思路;摘要未披露缩放位置、计算形式、训练损失或额外开销。作者报告 AdS 的 AT 表现接近融合 Attention 的 SSM,且未引入 RO,实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 序列模型中的扰动传播同样受到 SSM 参数化与输出缩放影响,AdS 可能成为研究 EEG 解码鲁棒性的候选模块。原研究依赖可实施 AT 的任务、攻击约束与评估设置,不能直接等同于真实 EEG 噪声或被试漂移。可复用的是输出误差分析与缩放思路,需改造的是符合 EEG 通道尺度和信号特性的扰动约束;低信噪比、通道变化、跨被试差异及小数据条件均可能削弱收益。一个可检验的小实验是在固定 EEG 任务与数据划分下,对照纯 SSM、融合 Attention 的 SSM 和加入 AdS 的 SSM,使用一致 AT 设置比较干净与受扰动条件下的同一指标,并跟踪验证与测试表现以核查 RO。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其关于 SSM 扰动输出误差与对抗训练收益的机制分析,以及 Adaptive Scaling 对 Attention 的替代思路;具体鲁棒性收益和 Robust Overfitting 改善仍需核对全文实验。

来源:OpenReview · State space models · openreview.net