OpenReview · Representation learning·· 2026-01-06精选AI 评分75
上下文内表征劫持
In-Context Representation Hijacking
AI 导读
基于摘要分析。该研究以大语言模型(LLMs)的安全对齐为对象,提出上下文内表征劫持攻击 Doublespeak,考察上下文示例中的词语替换能否改变模型对后续请求的内部语义解释,从而绕过安全限制。 其核心机制是在置于目标请求之前的多个上下文示例中,系统性地用无害词替换有害关键词。作者报告,可解释性分析显示,无害词的内部表征逐渐趋向被替换的有害词表征:早期层仍保留无害含义,后期层则转向有害语义。这里的贡献不仅是提示层面的替换策略,还包括对语义变化沿模型层次出现过程的分析;具体分析工具、表征相似性度量及因果验证方式尚未验证。 作者称 Doublespeak 无需优化,并可跨模型家族迁移;摘要另称其在闭源系统上取得较高成功率。具体数字方面,作者报告,在 Llama-3.3-70B-Instruct 上、采用单句上下文覆盖的条件下,攻击成功率达到 74%。摘要未交代该结果对应的测试集、样本量、成功判定规则及对照基线,因此不能据此比较其他攻击或模型的稳健性,也不应将该具名模型结果直接视为闭源系统结果。 作者据此主张,现有对齐策略存在潜在空间攻击面,防御应关注表征层面;这一防御方向属于作者提出的推论,摘要未提供相应防御效果。实验协议、消融及统计信息尚未验证。本研究并非 EEG 或 BCI 方法,所给材料也未建立与神经信号建模的具体机制对应关系,因此不据此推断其 BCI 有效性。
阅读价值
值得关注其用可解释性工具分析上下文替换与内部表征变化的机制证据,但攻击成功率的评估协议及表征层防御主张仍需全文核验。
来源:OpenReview · Representation learning · openreview.net