超越遗忘:表征误导引发可控的附带行为与能力
Beyond Forgetting: Representation Misdirection Elicits Controllable Side Behaviors and Capabilities
基于摘要分析。本文研究大语言模型(LLM)机器遗忘中的 Representation Misdirection(RM,表征误导),关注用于重定向待遗忘样本潜在表征的目标向量,是否不仅影响遗忘,还会引发可控的附带行为与能力变化。其主要贡献是借助 Linear Representation Hypothesis(线性表征假说),提出并检验目标概念方向与遗忘后行为之间的机制联系。 RM 通过将待遗忘样本的潜在表征重定向至目标向量实现遗忘。本文的分析前提是:若能识别对应某个高层概念的一维表征方向,就可以在待遗忘样本的表征空间中对该概念向量实施线性操作。作者据此假设,目标向量的概念属性会使机器遗忘产生相应的附带效应,而非仅移除指定知识。 作者报告,这一假设在真实性、情感、刻板印象偏差、拒答、语言及 in-context learning(ICL)任务等多个概念与任务上得到经验支持。摘要未提供概念方向的提取方式、具体模型、数据集、遗忘与保留任务划分、对照基线或量化指标,因此尚不能判断行为控制的幅度、稳定性,以及其与遗忘效果和保留能力之间的权衡;实验协议、消融及统计信息尚未验证。 作者将该现象同时视为潜在误用风险和可用于增强遗忘后模型行为可控性的机制。上述结论针对 LLM 机器遗忘,并非 EEG 或 BCI 的验证结果;材料未建立其与神经信号建模的具体对应关系,因此不据此提出 BCI 迁移效果或复现实验建议。
该研究将 Representation Misdirection 的目标向量与遗忘后的附带行为联系起来,为核查 LLM 机器遗忘是否同时改变真实性、拒答和其他能力提供了具体机制假设,但其控制效果及适用边界仍需结合全文验证。
来源:OpenReview · Representation learning · openreview.net