通过搜索空间扩展增强视觉语言模型中的对抗攻击迁移性
Enhancing Adversarial Transferability in Vision-Language Models via Search-Space Expansion
基于摘要分析。本文研究视觉语言预训练(VLP)模型的对抗攻击在未见模型上的迁移能力,提出 Search-space Expansion Attack(SEA),通过同时扩大图像与文本两种模态的对抗搜索空间,提升跨模型鲁棒性评估中攻击的通用性。 核心机制:作者将现有攻击迁移性受限的部分原因归于搜索空间狭窄,认为这可能使优化陷入局部最优并产生过拟合。图像侧利用历史更新探索新的优化方向;文本侧同时考虑单词重要性与词间交互,在多个有影响的位置执行词替换,而非仅围绕最显著的单词搜索。该设计也考虑到显著性较低的词可能产生更强、更易迁移的攻击。历史信息的具体利用方式、词间交互计算及两种模态的优化协调方式尚未验证。 结果与证据:作者报告,在多种基准、VLP 模型和任务上的实验及理论分析支持 SEA 改善攻击迁移性,并声称推进了最先进水平。摘要未提供具体基准名称、模型、任务、攻击成功率或提升幅度,因此尚不能判断收益大小及适用边界。需核对未见目标模型的选择、扰动预算、文本替换约束、对照基线和消融设置;实验协议、消融及统计信息尚未验证。 复现条件与范围:作者称源代码位于补充材料,但当前未取得全文或补充材料,代码可用性与运行条件尚未验证。本文主要对象是图像—文本 VLP 模型,并非 EEG 解码或 BCI;跨模型攻击迁移也不等同于跨被试或跨会话泛化,不能据此认定其具有 BCI 有效性。相关 EEG 工作尚未检索确认。
值得核对 SEA 如何通过图像优化历史与多位置文本替换扩大攻击搜索空间,以及这些机制能否在一致的扰动预算下改善未见 VLP 模型上的攻击迁移性;其 EEG/BCI 适用性尚未验证。
来源:OpenReview · State space models · openreview.net