跳到正文
OpenReview · State space models·· 2026-09-12精选AI 评分77

越狱存在于角色空间中

Jailbreaks Live in Persona Space

AI 导读

基于摘要分析。本文研究对齐语言模型为何会在对抗提示下从拒绝转为有害服从,并以 LLM 作为角色模拟器的视角,考察越狱行为是否由 persona space(角色空间)组织。核心贡献是将角色特征、激活空间中的预测结构与方向干预联系起来,并构造完全约束在角色空间内的 PersonaJB Direction。 机制与证据:作者报告,在 Llama-3.1-8B 和 Gemma-4-31B 上,单个角色特征能够预测越狱结果;仅从越狱激活学习的主成分中也会出现角色结构;将拒绝方向与越狱方向投影到角色空间后,仍保留大部分预测信号。摘要未说明角色空间的具体定义、特征获取方式、激活采样位置或方向构造细节,尚不能据此复现。 结果与对照:作者报告,PersonaJB Direction 在两个模型各自的未见攻击评估中取得最强的平均泛化表现,且推理开销较小;沿 PersonaJB 及单个角色特征方向进行激活引导,可产生与专门安全方向和标准攻击相近的越狱率。摘要未给出攻击集合、划分方式、对照方法名称、越狱判定标准或具体数值,因此这些结论只能按作者报告保留,不能扩展为对所有攻击或模型的优势。 解释与局限:作者将角色空间描述为越狱行为的可解释、可预测且具有因果作用的表示。方向干预为这一解释提供了证据,但因果结论的适用范围、干预特异性及对正常任务能力的影响仍需核对全文;实验协议、消融及统计信息尚未验证。本文的主要研究对象是语言模型安全,摘要未提供 EEG/BCI 数据、任务或可直接对应的信号建模机制,不据此推导 BCI 有效性或提出迁移实验。

阅读价值

值得阅读的具体原因是作者将越狱行为的预测与激活干预统一到 persona space,并提出可核对的跨攻击泛化主张,但其泛化范围与因果解释仍需结合全文实验验证。

来源:OpenReview · State space models · openreview.net