跳到正文
OpenReview · Representation learning·· 2026-05-15精选AI 评分77

超越遗忘:Representation Misdirection 引发可控的附带行为与能力

Beyond Forgetting: Representation Misdirection Elicits Controllable Side Behaviors and Capabilities

AI 导读

基于摘要分析。本文研究大语言模型(LLM)机器遗忘中的 Representation Misdirection(RM,表征误导),重点考察其目标向量是否不仅影响遗忘,还会引发可控的附带行为与能力。作者以 Linear Representation Hypothesis(线性表征假说)重新解释 RM,并报告在多类概念与任务上获得支持该假设的实验证据。 RM 通过将待遗忘样本的潜在表征重定向至目标向量来实现遗忘。论文的机制假设是:若能识别对应高层概念的一维表征,就可以在待遗忘样本的表征空间中对该概念向量实施线性操作,使遗忘后的模型表现出与该概念相关的行为变化。其关注点因此不只是是否遗忘,还包括目标向量如何塑造遗忘后的模型。 作者报告,实证考察覆盖真实性、情感、刻板印象偏差、拒答、语言以及上下文学习(ICL)任务,并据此认为这些附带效应既可能构成被滥用的隐性风险,也可能用于增强遗忘后模型的能力和行为可控性。摘要未提供具体数据集、概念向量提取方法、训练与推理设置、对照基线或量化结果,因而尚不能判断控制强度、跨任务稳定性及其与遗忘效果的关系;实验协议、消融及统计信息尚未验证。 本文的主要对象是 LLM 机器遗忘,而非 EEG 或 BCI。摘要未提供与神经信号建模的具体机制对应,因此不能将其结果视为 BCI 有效性的证据,也暂不据此提出迁移实验。

阅读价值

值得关注其将遗忘目标向量与模型附带行为联系起来的机制假设;作者报告可控制多类行为,但控制效果、遗忘保持程度及二者的权衡仍需结合全文核验。

来源:OpenReview · Representation learning · openreview.net