跳到正文
OpenReview · State space models· Xiuyuan Wang; Weiming Liu; Chaochao Chen; Zongxin Yang; Fan Wang; Xiaolin Zheng·· 2025-09-20精选AI 评分76

UUE:通过零空间引导编辑与轻量适配器实现非定向语言模型遗忘

UUE: Untargeted Language Model Unlearning via Null-Space-Guided Editing with Lightweight Adapters

AI 导读

基于摘要分析。本文研究 LLM 中私密、敏感或危险知识的遗忘问题,提出轻量且可控的 UUE 框架,将遗忘重新表述为零空间引导的模型编辑,目标是在移除不期望知识的同时保留模型的一般效用。 机制上,UUE 引入无需显式目标输出的编辑目标,并设计可插拔的遗忘适配器,通过零空间引导推导闭式解析更新,以减少对保留知识的干扰。作者进一步结合 LoRA 提出 UUE-L,以提高效率。相较于摘要所描述的依赖微调的既有方法,其主要方法贡献是将遗忘操作转为受约束的解析编辑,而非仅通过微调调整模型。编辑目标的具体形式、零空间的构造依据、适配器插入位置及 LoRA 的使用方式均尚未验证。 作者报告,在 TOFU 和 WMDP 基准上、跨多个 LLM 的实验中,UUE 与 UUE-L 的遗忘效果优于现有方法。摘要未提供模型名称、数据划分、对照方法、具体指标或数值,因此尚不能判断优势幅度,也不能量化一般效用的保持程度。实验协议、消融及统计信息尚未验证;复现还需核对遗忘集与保留集的定义、闭式更新所需数据、计算与存储成本,以及遗忘后知识能否被重新诱发。 本文的主要研究对象是语言模型知识遗忘,而非 EEG 解码或 BCI。摘要未建立零空间编辑与神经信号任务之间的具体对应关系,因此不据此推断 BCI 有效性,也不提出迁移实验方案;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对的是 UUE 如何以无需显式目标输出的编辑目标和零空间引导闭式更新兼顾遗忘与保留知识;摘要报告了基准优势,但具体效果及稳定性尚待全文验证。

来源:OpenReview · State space models · openreview.net