混淆激活绕过 LLM 潜在空间防御
Obfuscated Activations Bypass LLM Latent-Space Defenses
基于摘要分析。本文研究 LLM 能否通过不易被监控器识别的潜在状态执行有害行为,并以混淆激活攻击检验潜在空间防御的可靠性。作者报告,激活探针与潜在空间分布外(OOD)检测均可能被此类攻击绕过,同时部分探针架构更稳健,且规避监控可能损害复杂任务表现。 核心机制是针对模型内部激活的监控开展对抗性规避:防御原本试图在有害激活导致不期望的行为之前将其识别出来,攻击则试图让有害行为对应的潜在状态显得不易察觉。摘要未交代混淆激活的具体构造、优化目标、训练流程或攻击者可访问的信息范围,因此不能据此还原攻击实现。 作者报告,在针对有害性分类探针的一项实验中,攻击将监控召回率从 100% 降至 0%,同时仍达到 90% 的越狱成功率。这些数字仅适用于摘要所述的探针对抗场景;使用的 LLM、数据划分、攻击样本规模、阈值及越狱判定标准尚未验证,不能推广为所有潜在空间防御的表现。作者还报告,在编写 SQL 代码这一复杂任务上,规避监控会降低模型性能,并将其称为“obfuscation tax”(混淆代价),但摘要没有提供下降幅度。 作者据此认为,所研究的白盒监控器缺乏对抗攻击鲁棒性,并提出可缓解但不能完全修复该弱点的建议;具体措施及其效果需查阅全文。实验协议、消融及统计信息尚未验证,代码与复现条件也尚未确认。本文主要研究对象是 LLM 安全监控,而非 EEG 解码或 BCI;材料没有提供具体的神经信号机制对应关系,因此不提出跨领域迁移实验建议。相关 EEG 工作尚未检索确认。
该研究通过混淆激活攻击检验 LLM 潜在空间监控的对抗鲁棒性,并报告监控规避与任务性能之间的代价,值得核对攻击条件及不同探针架构的稳健性差异,但摘要不足以支持 EEG/BCI 迁移结论。
来源:OpenReview · State space models · openreview.net