越狱行为位于人格空间中
Jailbreaks Live in Persona Space
基于摘要分析。本文研究对齐语言模型为何会在对抗提示下由拒绝转向有害服从,以将 LLM 视为人格模拟器的观点,检验越狱行为是否具有 persona space(人格空间)结构,并提出完全约束于该空间的单一方向 PersonaJB Direction。 机制与证据:作者在 Llama-3.1-8B 和 Gemma-4-31B 上报告,个体人格特质能够预测越狱结果;仅由越狱相关激活学习得到的主成分中也会呈现人格结构;将拒绝方向与越狱方向投影至人格空间后,仍保留大部分预测信号。这些分析分别从特质关联、激活结构及方向投影角度支持人格空间与越狱行为的联系,但摘要未说明人格空间的构建方式、特质定义、激活提取位置或预测评估指标。 方法与结果:基于上述结构,作者构建 PersonaJB Direction,并报告其在两种模型上对未见攻击的平均泛化表现最强,且推理额外开销较小。作者还报告,沿 PersonaJB 及个体特质方向进行激活引导,可诱发与专门安全方向及标准攻击相近的越狱率。摘要未给出数值、具体对照方法、攻击集合、划分方式或开销测量,因此这些比较仅能作为作者报告,不能据此量化优势。 解释与验证边界:作者将人格空间视为越狱行为的可解释、可预测且具有因果作用的表征;激活干预为这一解释提供证据,但其适用范围与替代解释尚需全文核对。复现需确认人格空间及方向的估计流程、训练与未见攻击的隔离方式、引导强度、越狱判定标准,以及正常任务能力是否受影响;实验协议、消融及统计信息尚未验证。本文主要对象是 LLM 安全与内部表征,并非 EEG 或 BCI,现有摘要不足以建立具体的神经信号方法迁移路径。
值得阅读的具体原因是作者将越狱行为的预测与激活干预统一到 persona space,并提出面向未见攻击泛化的 PersonaJB Direction;其比较协议与因果解释仍需全文核对。
来源:OpenReview · State space models · openreview.net