通过可学习漂移补偿实现无样本留存的持续表征学习
Exemplar-Free Continual Representation Learning via Learnable Drift Compensation
基于摘要分析。本文研究无历史样本留存的类别增量学习,重点关注骨干网络从零训练、首个任务较小时,持续更新表征导致旧类别原型与新特征空间失配的问题。作者提出 Learnable Drift Compensation(LDC),通过学习漂移补偿来缓解这种失配,并将其与自监督持续学习方法结合,扩展至半监督设置。 核心机制:原型方法以特征空间中的类别代表进行识别;骨干网络更新后,旧类别原型可能不再对应当前表征。作者报告,其分析表明遗忘并非源于特征提取器判别能力下降,而可能通过漂移补偿纠正。摘要称 LDC 可用于监督或无监督训练中持续变化的骨干网络,且易于集成、运行较快;补偿映射的结构、训练目标、所需监督及计算开销尚未验证。 结果与证据边界:作者报告,在多个数据集的监督和半监督设置下取得领先性能,并声称与自监督持续学习结合后形成首个无样本留存的半监督持续学习方法。摘要未给出数据集名称、任务划分、基线、指标或具体数值,因此不能判断优势幅度或比较公平性;实验协议、消融及统计信息尚未验证。材料提供了代码仓库,但代码与复现条件未核查。 平台推测(待验证)——迁移假设:若 EEG 类别增量学习中的遗忘也主要来自骨干更新后的原型失配,LDC 的原型补偿思路可能值得测试;原论文依赖类别原型和持续变化的特征空间,不能据此认定其已解决 EEG 的跨被试或跨会话偏移。可复用部分是漂移补偿模块,需适配 EEG 编码器、类别增量协议及原型更新方式。低信噪比、小样本和通道变化可能使原型估计不稳,且真实分布变化未必能由表征漂移补偿解决。一个可证伪的小实验是在固定被试与通道配置的 EEG 类别增量协议下,对比同一骨干和原型分类器加入与不加入 LDC 时的旧类性能与原型对齐误差。已有 EEG 相关工作尚未检索确认。
值得核对其“特征仍具判别力、遗忘可由原型漂移补偿缓解”的分析及 LDC 的实现,但其对 EEG 持续学习的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net