重访过去:利用模型状态历史进行数据遗忘
Revisiting the Past: Data Unlearning with Model State History
基于摘要分析。本文研究大语言模型如何在不完全重新训练的情况下,消除隐私、版权、不准确或有损模型性能的数据所产生的影响,提出 MSA(Model State Arithmetic),利用预训练过程中保存的模型检查点估计并抵消目标数据的作用。 核心机制是将历史模型状态作为遗忘算法的信息来源,而不是仅依赖最终模型。摘要明确说明,MSA 使用不同预训练阶段的检查点来估计目标数据的影响并加以抵消,但未提供状态运算公式、目标数据与检查点的对应方式、是否需要额外优化,以及检查点数量和保存频率要求;这些实现条件尚未验证。 作者报告,MSA 在多个基准、模型和评估指标上具有竞争力,并经常优于现有机器遗忘算法。摘要未列出具体基准、模型规模、对照方法或数值,因而尚不能判断优势适用于哪些遗忘任务,也不能据此确认其等价于排除目标数据后重新训练。实验协议、消融及统计信息尚未验证;阅读全文时还需核对目标数据影响的残留、非目标能力的保留,以及检查点存储和遗忘计算的成本。 平台推测(待验证):若 EEG 基础模型保留了训练检查点,且能追踪目标被试数据在训练过程中的使用位置,历史状态可能为撤回被试数据后的模型更新提供候选机制。此假设对应的是数据撤回需求,而非 EEG 解码性能提升;可尝试复用状态差异估计思路,但需改造数据追踪和遗忘评估。低信噪比、跨被试差异、通道配置变化及小数据条件可能使状态变化难以归因于目标被试,并损害保留数据上的表现。一个可证伪的小实验是在固定 EEG 数据划分和训练顺序下,对单个被试执行遗忘,以排除该被试后重新训练作为参照,同时检查目标数据残留与保留被试的任务表现。已有 EEG 相关工作尚未检索确认。
值得阅读的具体原因是 MSA 利用预训练历史检查点估计并抵消目标数据的影响,为机器遗忘提供了可核对的机制路径,但其遗忘精度、保留能力与计算成本仍需全文验证。
来源:OpenReview · State space models · openreview.net