遗忘但可回忆:持续学习中的增量潜在表征校正
Forget but Recall: Incremental Latent Rectification in Continual Learning
基于摘要分析。本文研究深度神经网络在持续学习中的灾难性遗忘,提出 Incremental Latent Rectification(ILR):将当前已训练网络产生的表征逐步校正并映射回旧任务的表征空间,以支持旧任务预测。其主要贡献是探索表征空间校正这一持续学习路径,而非仅从样本回放、学习正则化或为新任务分配专用容量出发。 机制上,ILR 使用一串小型表征映射网络,称为 rectifier units,完成从当前表征到旧任务表征空间的校正。“向后”指表征空间之间的映射方向,不能据此理解为恢复旧模型参数。摘要未说明这些单元的训练监督、损失函数、旧任务信息保存方式,也无法确认方法是否仍需保存样本或其他历史信息。 作者报告,在包括 CIFAR10、CIFAR100 和 Tiny ImageNet 的多个持续学习基准上,ILR 相对现有代表性持续学习方法显示出有效性与潜力。摘要未提供具体指标、数值、任务划分及对照配置,因此不能量化性能提升,也不能判断不同持续学习协议下的表现。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 持续学习中的遗忘部分源于更新后的表征偏离旧任务决策空间,ILR 的映射链可能提供一种可检验的校正机制。可复用的是 rectifier units 的表征映射思路;需改造和核对的是 EEG 编码器、会话或任务边界、映射训练所需监督及历史信息保存条件。低信噪比、跨被试和通道差异可能使空间映射不稳定,小数据及长映射链也可能引入过拟合或累积误差。一个小规模检验是假设任务边界已知,在固定被试的跨会话 EEG 顺序训练中,以相同数据访问条件比较加入与不加入校正单元后的旧会话表现、新会话表现和额外存储开销。该设想不是本文已验证结果,相关 EEG 工作尚未检索确认。
值得核对 ILR 如何通过小型表征映射网络将当前表征校正至旧任务空间,以及这种机制相对代表性持续学习方法的收益与累积误差;摘要尚不足以判断其在 EEG 持续学习中的有效性。
来源:OpenReview · Representation learning · openreview.net