跳到正文
OpenReview · State space models· Sijia Xie; Hengyu Liu; Manali Sharma; Ruo Yang; Ning Luo·· 2025-09-18精选AI 评分72

通过多模态大语言模型潜在空间构造暗示性对抗样本

Allusive Adversarial Examples via Latent Space in Multimodal Large Language Models

AI 导读

该研究关注多模态大语言模型(MLLMs)的输入安全问题,提出暗示性对抗样本(allusive adversarial examples):在不改变文本指令的情况下,将目标指令以不可感知的方式编码进非文本模态,从而操纵模型输出。基于摘要分析,未取得论文全文。 核心机制是利用跨模态对齐以及 MLLMs 的共享潜在空间,通过一个学习框架构造承载目标指令的非文本输入。相较于摘要所述的既有对抗样本,作者强调其区别在于保留原有文本指令,而由非文本模态传递攻击意图。具体优化目标、扰动约束、训练与推理流程,以及攻击所需的模型访问权限尚未验证。 作者报告在 LLaVA、InternVL、Qwen-VL 和 Gemma 上进行了实证评估,并称生成的对抗样本高效且有效。摘要未提供模型版本、任务、数据划分、对照基线、攻击成功率或效率指标,因此无法判断效果幅度、不可感知性的判定方式及不同模型间的可迁移性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若某类 EEG 多模态系统将神经信号与文本映射至共享潜在空间,该攻击机制可能为其输入安全评估提供研究假设,而非已证实的 BCI 攻击效果。可考虑复用共享空间中的攻击优化思路,但需改造信号编码接口,并加入 EEG 生理合理性和扰动约束;低信噪比、跨被试与通道变化、小数据条件均可能使攻击难以稳定。一个可证伪的小实验是在固定文本指令的 EEG—文本模型中,比较受约束的定向扰动与同等幅度随机扰动能否诱导预设输出,同时检查任务性能变化。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其利用跨模态对齐与共享潜在空间构造非文本指令攻击的机制,但攻击有效性、不可感知性及评估协议尚需全文核对,不能据此认定对 EEG/BCI 系统同样有效。

来源:OpenReview · State space models · openreview.net