跳到正文
OpenReview · State space models· Isha Gupta; Rylan Schaeffer; Joshua Kazdan; Ken Liu; Sanmi Koyejo·· 2025-09-20精选AI 评分82

理解对抗迁移:为何表征空间攻击在数据空间攻击成功之处失败

Understanding Adversarial Transfer: Why Representation-Space Attacks Fail Where Data-Space Attacks Succeed

AI 导读

基于摘要分析。本文研究对抗攻击为何能在图像分类器或语言模型(LMs)之间迁移,却在部分视觉语言模型(VLMs)的图像越狱研究中迁移失败。作者提出,攻击的作用空间是关键:共享输入数据空间中的攻击可以迁移,而模型特有表征空间中的攻击通常需要表征几何对齐才能迁移;这并不意味着所有数据空间攻击都必然迁移。 作者从四类设置提供理论与实验证据。首先,在两个网络实现相同输入—输出映射、但采用不同内部表征的简化设置下,作者报告数学证明支持上述区分。其次,作者报告针对图像分类器构造的表征空间攻击,在受攻击模型上的成功程度可与常见数据空间攻击相当,却未能迁移到其他模型。第三,针对 LMs 的表征空间攻击可使目标模型越狱,但同样未能迁移。第四,作者报告针对 VLMs 的数据空间攻击能够迁移到新的 VLMs;当投影器之后(post-projector)的潜在几何充分对齐时,表征空间攻击也可以迁移。 该研究的核心机制是:输入空间可由模型共享,而内部坐标与几何结构可能不同,因此相同功能不保证内部扰动具有相同作用。摘要未提供具体模型、数据集、攻击约束、优化目标、成功率或对齐度量;实验协议、消融及统计信息尚未验证。复现时需核对攻击作用位置、扰动预算、目标与迁移成功标准,以及几何对齐的定义和实现。 平台推测(待验证):假设 EEG 模型之间存在类似的表征几何差异,该机制可用于研究跨模型对抗鲁棒性,而非直接改善 BCI 解码性能。可复用的是输入空间与表征空间攻击的对照思路;需改造的是 EEG 扰动约束、通道对应与表征对齐方法。低信噪比、跨被试差异、通道不一致和小数据可能混淆几何差异与分布偏移。一个可证伪的小实验是在相同 EEG 数据划分和通道配置下训练两个解码模型,比较输入攻击、未对齐表征攻击与对齐后表征攻击的迁移表现,并同时报告目标模型攻击效果及干净数据性能。已有相关 EEG 工作尚未检索确认。

阅读价值

值得阅读的是作者通过理论构造与多类模型实验,区分输入数据空间和表征空间攻击的迁移条件,为核对跨模型鲁棒性评估提供具体机制假设,但其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net