CoUn:通过对比学习增强机器遗忘
CoUn: Empowering Machine Unlearning via Contrastive Learning
基于摘要分析。本文研究机器遗忘:消除指定 forget 数据对已训练模型的影响,同时保留其对 retain 数据的知识。作者提出 CoUn,仅对 retain 数据应用对比学习与监督学习,通过调整表征间的语义关系间接影响 forget 数据的表征。 核心机制来自作者的一项观察:仅用 retain 数据从头重训的模型,会依据 forget 数据与 retain 数据的语义相似性对 forget 数据进行分类。CoUn 尝试模拟这一行为:对比学习利用样本间的语义相似性间接调整 forget 表征,监督学习则使 retain 表征保持在各自的簇内。摘要未给出语义相似性的计算方式、对比样本构造、损失形式及训练流程,具体实现尚未验证。 作者报告,在多种数据集和模型架构的实验中,CoUn 的遗忘有效性持续优于所比较的先进机器遗忘基线;将其对比学习模块加入既有基线也能改善遗忘有效性。摘要未提供数据集名称、指标、数值及划分协议,因此尚不能判断效果幅度、保留知识的代价或与从头重训的接近程度;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将该机制用于 EEG 数据删除需求,可检验仅凭 retain 表征关系能否消除待删除数据的影响;这不是已验证的 EEG/BCI 结果。可复用的是对比学习与监督学习的组合思路,需改造 EEG 表征和正负样本构造。低信噪比、跨被试差异及通道配置变化可能使语义相似性失真,小数据条件下也可能误伤保留任务信息。一个小规模可证伪实验是:在固定 EEG 分类协议下删除指定被试的训练数据,对比 CoUn、仅用 retain 数据从头重训及原模型,同时评估遗忘效果与 retain 任务表现。已有 EEG 相关工作尚未检索确认。
值得核对 CoUn 如何仅用 retain 数据的对比学习间接调整 forget 数据表征,以及这种调整是否在明确的遗忘评估协议下接近仅用 retain 数据从头重训的行为。
来源:OpenReview · Representation learning · openreview.net