表征遗忘:通过信息压缩实现遗忘
Representation Unlearning: Forgetting through Information Compression
基于摘要分析。本文研究机器遗忘,即移除特定训练数据对模型的影响,提出 Representation Unlearning:不修改原模型参数,而是在表征空间学习变换,以信息压缩实现遗忘,同时保留其他数据的效用。原论文研究对象是通用机器遗忘,并非 EEG 或 BCI 专用方法。 核心机制是在表征变换中施加信息瓶颈,最大化与保留数据的互信息,同时抑制关于待遗忘数据的信息。作者推导了使目标可计算的变分替代形式,并讨论两种条件:保留数据与待遗忘数据均可访问,以及仅能访问待遗忘数据的 zero-shot 设置。这里的“不修改模型参数”不等于无需学习,表征变换本身仍需学习;其具体形式、训练方式及 zero-shot 条件下如何约束保留效用尚未验证。 作者报告,在多个基准实验中,该方法相较以参数修改为中心的基线,遗忘更可靠、效用保留更好且计算效率更高。摘要未提供基准名称、数据划分、基线配置、指标或数值,故无法判断优势幅度与适用范围;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 模型能输出可访问表征,且待删除被试或会话数据可明确标识,该机制可能用于研究数据撤回后的表征级遗忘。假设是可通过变换削弱被试相关信息而保留任务信息;可复用信息瓶颈与变分目标,但需适配 EEG 表征、遗忘粒度及任务效用约束。低信噪比、通道差异和小样本可能使身份信息与任务信息难以分离,导致效用下降。一个可证伪的小实验是在固定跨被试划分与 EEG 编码器下,指定一名训练被试为遗忘对象,比较表征变换、原模型与删除该被试后重训模型的任务效用、遗忘评估结果及计算成本。原领域结果不构成 EEG 有效性证据,已有 EEG 相关工作尚未检索确认。
值得核对其表征空间信息瓶颈目标与两种数据可访问条件下的变分近似,尤其是遗忘可靠性、保留效用与计算成本的权衡;摘要中的优势结论仍需具体协议和指标验证。
来源:OpenReview · Representation learning · openreview.net