跳到正文
OpenReview · Representation learning· Hongzheng Yang; Yongqiang Chen; Zeyu Qin; Tongliang Liu; Chaowei Xiao; Kun Zhang; Bo Han·· 2025-09-18精选AI 评分78

用于忠实表征干预的概念集中

Concept Concentration for Faithful Representation Intervention

AI 导读

基于摘要分析。本文研究 Large Language Models(LLMs)安全对齐中的表征干预:能否准确定位并擦除有害概念,同时保留正常功能,并抵御分布内对抗提示和分布外(OOD)越狱。作者提出 Concept Concentration(COCA),通过包含显式推理过程的训练数据重构,使有害与良性表征更容易被线性干预区分。 作者将干预的忠实性与有害概念擦除及越狱鲁棒性联系起来,并指出:在线性设置下,可以在不损害良性功能的情况下擦除有害概念;在一般非线性设置下则不可行。这一结论的具体假设、适用范围及证明条件尚未验证,不能据摘要扩展为所有非线性模型均无法进行有效安全干预。 COCA 不再仅依赖寻找忠实的干预位置,而是重构训练数据中的推理流程:先识别潜在不安全概念,再决定回答。其核心思路是简化有害与良性表征之间的决策边界,从而提高线性擦除的有效性。摘要未提供数据重构细节、训练目标、干预位置或推理阶段的具体实现。 作者报告,在多种表征干预方法和模型架构上的实验中,COCA 降低了分布内及 OOD 越狱成功率,同时保持数学、代码生成等常规任务的较强表现。摘要未提供模型名称、数据集、划分、具体数值及对照基线;实验协议、消融及统计信息尚未验证,尚不能量化其收益或复现成本。 研究主要对象是 LLM 安全对齐,并非 EEG 或 BCI。现有材料未建立不安全概念识别与神经信号表征之间的具体对应关系,因此不据此推断 BCI 效果或提出迁移复现实验;已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其对概念擦除可行性的线性与非线性区分,以及通过重构训练数据改善线性干预的机制;理论成立条件和安全性与正常功能之间的权衡仍需全文核验。

来源:OpenReview · Representation learning · openreview.net