跳到正文
OpenReview · Representation learning· Weiqi Wang; Chenhan Zhang; Zhiyi Tian; Shui Yu·· 2024-01-01精选AI 评分71

通过参数自共享实现表征遗忘的机器遗忘

Machine Unlearning via Representation Forgetting With Parameter Self-Sharing

AI 导读

基于摘要分析。本文研究机器遗忘中删除指定样本贡献与保留模型效用之间的冲突,提出 representation-forgetting unlearning with parameter self-sharing(RFU-SS),将遗忘与既有知识保留建模为双目标优化问题,以缓解删除数据后模型性能明显下降的“灾难性遗忘”。 机制上,作者先提出 representation-forgetting unlearning(RFU),通过最小化表征与待删除数据之间的互信息,降低指定样本对已训练表征的贡献;该表征使用 information bottleneck(IB,信息瓶颈)方法学习,RFU 的介绍针对 IB 结构模型展开。在此基础上,RFU-SS 引入参数自共享结构优化,同时处理遗忘与保留目标。摘要未给出互信息估计方式、具体损失形式、参数共享范围及优化流程,这些内容尚未验证。 作者报告,在 MNIST 上,RFU-SS 将模型 Accuracy 的下降幅度从超过 6% 降至不足 0.2%,同时取得更好的删除效果。这里保留摘要的百分比表述;其对应相对降幅还是百分点差值,以及具体对照方法、删除比例、数据划分和删除效果指标,均需核对全文,不能据此推广到其他任务。作者提供了源码地址,但实现与复现条件尚未核查;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其机制可能用于探索 EEG 模型在撤回特定训练样本后的效用保留,但原研究对象是通用机器遗忘,并非 BCI。可复用的是遗忘与保留的双目标思路;需改造和核对的是 EEG 编码器的 IB 结构、互信息估计及遗忘单位。EEG 的低信噪比、跨被试差异和小样本可能使删除目标与任务信息高度重叠,导致保留性能受损。一个可检验的小实验是在固定 EEG 划分下撤回部分训练样本,将 RFU-SS 与完整重训练及不执行遗忘的模型对照,分别检查删除效果和保留集性能;具体指标须依据全文协议确定。已有 EEG 相关工作尚未检索确认。

阅读价值

RFU-SS 将表征遗忘与知识保留作为双目标优化,值得核对其信息瓶颈依赖、参数自共享机制及遗忘评估协议,但摘要结果尚不能证明其适用于 EEG/BCI 数据撤回。

来源:OpenReview · Representation learning · openreview.net