通过参数自共享实现表征遗忘的机器遗忘方法
Machine unlearning via representation forgetting with parameter self-sharing
基于摘要分析。本文研究机器遗忘中指定样本贡献的移除与模型效用保留之间的冲突,将其表述为遗忘与保留的双目标优化问题,并提出 representation-forgetting unlearning with parameter self-sharing(RFU-SS),以缓解删除数据后模型性能显著下降的“灾难性遗忘”。这里的主要研究对象是通用机器学习模型,而非 EEG 或 BCI。 机制上,作者先提出 representation-forgetting unlearning(RFU):针对通过 information bottleneck(IB,信息瓶颈)方法学习的表征,最小化表征与待删除数据之间的互信息,以移除指定样本的贡献。RFU 为便于方法介绍而针对 IB 结构模型设计;随后引入参数自共享结构优化,同时处理遗忘与知识保留目标。摘要未给出互信息估计方式、参数共享结构、具体损失及训练流程,其实现要求尚待全文核对。 作者报告,在 MNIST 实验中,RFU-SS 在删除效果更好的同时,将模型准确率下降从超过 6% 降至低于 0.2%。摘要未说明该下降量的计算口径、具体对照方法、删除比例及数据划分,因此不能将其直接解释为百分点变化,也不能据此推断其他任务的表现。作者提供了源码地址,但代码可运行性、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 模型面临用户撤回数据的需求,RFU-SS 的机制可能用于检验能否删除指定被试或试次的贡献,同时保留其他数据上的解码效用;这并非已验证的 BCI 效果。可复用的是遗忘与保留的双目标思路,需改造的是适配 EEG 编码器的 IB 表征、互信息估计及删除单位。低信噪比、被试差异、通道配置和小样本可能使待删信息与任务信息纠缠,导致效用下降或删除不足。一个可证伪的小实验是在固定 EEG 数据划分和删除集合下,对比 RFU-SS 与移除数据后重新训练,分别核查删除效果及保留集解码性能。已有 EEG 相关工作尚未检索确认。
值得核对 RFU-SS 如何通过表征遗忘与参数自共享兼顾删除效果和模型效用,但摘要中的 MNIST 结果尚不足以判断其对 EEG 数据删除的适用性。
来源:OpenReview · Representation learning · openreview.net