跳到正文
OpenReview · State space models· Isha Gupta; Rylan Schaeffer; Joshua Kazdan; Ken Liu; Sanmi Koyejo·· 2026-03-02精选AI 评分79

理解跨模态对抗迁移:为何表示空间攻击失败而数据空间攻击成功

Understanding Adversarial Transfer Across Modalities: Why Representation-Space Attacks Fail Where Data-Space Attacks Succeed

AI 导读

基于摘要分析。本文研究图像分类器的对抗样本、语言模型的越狱攻击与视觉语言模型(VLM)的图像越狱为何呈现不同的跨模型迁移行为,提出内部表示的几何对齐是解释这些差异的关键机制。主要研究对象是视觉、语言及多模态系统,而非 EEG/BCI。 作者区分共享输入中的“数据空间”攻击与内部接口上的“表示空间”攻击,认为后者只有在不同模型的内部几何结构相关时才容易迁移。作者将 VLM 图像越狱解释为有效作用于表示空间的攻击:图像经模型特异的连续投影器映射,与文本通过共享离散 tokenizer 输入的情形不同,图像扰动可能在不同模型中产生几何上正交的嵌入方向。这是作者提出的机制解释,不宜据此概括所有模型或输入接口。 作者报告,理论框架表明,即便线性模型功能相同,表示空间攻击在基底未对齐时也不能迁移;针对 ImageNet 分类器及语言模型的表示空间攻击同样表现出迁移失败,而文本越狱可在 VLM 之间迁移。作者还报告,对齐表示空间能够恢复 VLM 图像越狱及语言模型潜在表示攻击的迁移性。摘要未提供具体模型、攻击约束、对齐方法、数据划分或量化结果,实验协议、消融及统计信息尚未验证。内部接口不对齐能否构成稳定防御,也需结合攻击者能力及自适应攻击核对。 平台推测(待验证):若不同 EEG 解码器的潜在表示存在几何差异,该机制可能帮助解释跨模型扰动迁移不稳定,而不等同于跨被试泛化。可复用的是表示对齐与攻击迁移的对照思路,需改造信号扰动约束、通道映射及表示接口。一个可检验的小实验是在固定 EEG 数据划分与任务下,对两个解码器比较表示对齐前后的攻击迁移率,同时控制干净样本性能及扰动幅度;低信噪比、通道差异和小数据可能使对齐不稳定。相关 EEG 工作尚未检索确认。

阅读价值

值得阅读其关于内部表示几何对齐与对抗迁移的理论框架及对齐干预实验;这为理解模块化模型的迁移攻击提供了可检验机制,但其对 EEG/BCI 鲁棒性的适用性尚未验证。

来源:OpenReview · State space models · openreview.net