跳到正文
OpenReview · State space models· Isha Gupta; Rylan Schaeffer; Joshua Kazdan; Ken Ziyu Liu; Sanmi Koyejo·· 2025-12-31精选AI 评分81

理解对抗迁移:为何表征空间攻击在数据空间攻击成功之处失效

Understanding Adversarial Transfer: Why Representation-Space Attacks Fail Where Data-Space Attacks Succeed

AI 导读

基于摘要分析。该研究主要面向图像分类器、语言模型(LMs)与视觉语言模型(VLMs),解释为何图像对抗样本和文本越狱可以跨模型迁移,而部分图像越狱难以在 VLMs 之间迁移。作者提出,攻击的迁移能力取决于其作用于共享的输入数据空间,还是模型特有的表征空间;后者的迁移需要表征几何对齐,不能将所有攻击都视为天然可迁移。 作者提供四类证据:在两个网络实现相同输入—输出映射、但采用不同内部表征的简单设定中,给出数学证明;在图像分类器上构造表征空间攻击,作者报告其对被攻击模型的成功程度可与已知数据空间攻击相当,但不能迁移;在 LMs 上构造表征空间越狱,作者报告其能成功攻击目标模型,却不能跨模型迁移;在 VLMs 上构造数据空间攻击,作者报告其可以迁移至其他 VLMs,并指出当 post-projector 空间中的潜在几何充分对齐时,表征空间攻击也可以迁移。这些结果支持作者关于攻击作用空间与几何对齐条件的解释,并非证明所有数据空间攻击必然迁移或所有表征空间攻击必然失败。 摘要未提供模型名单、数据集、攻击约束、成功率、几何对齐度量及具体实现;理论结论的假设范围、实验协议、消融及统计信息尚未验证。复现时需核对攻击预算、可访问的表征位置,以及跨模型比较所采用的任务和成功判据。 平台推测(待验证):若 EEG 解码模型共享输入定义却具有不同潜在表征,该机制可能帮助区分输入扰动与潜在表征扰动的跨模型迁移,但原领域结果不等于 BCI 有效性。可复用的是攻击作用空间的对照思路,需改造的是 EEG 扰动约束、通道对应关系与表征对齐方法;低信噪比、跨被试差异、通道配置不同及小数据条件可能使几何估计不稳定。一个可检验的小实验是在固定 EEG 数据划分与相同输入预处理下,对两个解码模型比较输入空间攻击和表征空间攻击的迁移,再检验表征对齐是否改变后者的迁移效果。已有 EEG 相关工作尚未检索确认。

阅读价值

该研究通过理论构造与多类模型实验区分数据空间和表征空间攻击的迁移条件,值得用于核对跨模型鲁棒性评估中的表征几何假设,但其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net