OpenReview · Representation learning· Itay Yona; Amir Sarid; Michael Karasik; Yossi Gandelsman·· 2025-12-31精选AI 评分75
上下文表征劫持
In-Context Representation Hijacking
AI 导读
基于摘要分析。该研究面向 LLM 的安全对齐问题,提出上下文表征劫持攻击 Doublespeak:通过在多个上下文示例中系统地以无害词替换有害关键词,使后续请求中的无害词承载有害语义。其主要贡献是结合攻击评估与可解释性分析,研究上下文如何改变词语的内部表征并诱发安全绕过,而非提出 EEG 或 BCI 方法。 机制方面,作者报告,无害词的内部表征会向被替代的有害词表征靠近;可解释性分析显示,这种语义变化逐层出现,早期层保留较多无害含义,后期层则趋向有害语义。摘要未说明表征相似性的具体度量、所用可解释性工具或因果干预设计,因此“表征变化导致安全绕过”的因果强度尚未验证。 评估方面,作者称 Doublespeak 无需优化,并可跨模型家族迁移。在 Llama-3.3-70B-Instruct 上,采用单句上下文覆盖的设置,作者报告攻击成功率(ASR)达到 74%。该结果所对应的请求集合、样本量、成功判定标准、采样配置及对照基线未在摘要中给出,不能据此直接比较其他攻击或推断所有模型的脆弱程度。实验协议、消融及统计信息尚未验证。 作者据此主张安全对齐应关注表征层面;这一防御方向是作者的解释与建议,摘要未提供相应防御有效性的验证。材料没有给出与 EEG/BCI 信号建模的具体机制对应关系,因此不据此生成迁移实验建议。
阅读价值
值得阅读之处是将上下文诱导的安全绕过与逐层语义表征变化联系起来,但其因果机制、跨模型迁移范围及防御结论仍需结合全文验证。
来源:OpenReview · Representation learning · openreview.net