遗忘之前,先要学习:在线无监督持续学习中的表征学习挑战
Before Forgetting, There's Learning: Representation Learning Challenges in Online Unsupervised Continual Learning
基于摘要分析。本文研究在线无监督持续学习(O-UCL):学习器在不依赖标签、原问题设定不存储历史数据的条件下,适应分布不断变化的顺序数据流。作者提出,除灾难性遗忘外,批次或短片段中的瞬时小尺度偏差也可能阻碍表征形成,将其称为“灾难性不学习”(catastrophic non-learning),并提出双记忆框架应对这两类问题。 机制上,作者区分了长期分布变化与局部数据偏差:后者在聚合数据中可能不明显,却可能妨碍在线学习。作者报告,辅助记忆可用于缓解遗忘与不学习,但两者所需的理想记忆选择标准存在冲突,因此引入分别针对两类问题设计的模块。摘要未说明记忆存储对象、容量、更新规则、训练损失,以及引入记忆后相对原始无历史存储设定的约束变化,需查阅全文核对。 作者报告,在由 ImageNet 和 Places365 构建的真实感数据流上,与多个基线比较并验证上述现象及方法。摘要未提供具体指标、增益、数据流构造与划分;实验协议、消融及统计信息尚未验证,不能据此判断性能优势的大小或适用范围。 平台推测(待验证):若 EEG 在线无监督表征训练也受到短片段内状态或采集条件偏差影响,可检验“局部偏差妨碍学习”与长期遗忘是否需要不同记忆策略。可复用的是按失效模式拆分记忆功能的思路;需改造 EEG 编码器、片段采样及记忆选择方式。低信噪比、跨被试或通道差异及小数据可能使记忆保留伪迹而非可迁移表征。一个小规模可证伪实验是在相同 EEG 数据、固定记忆预算与无标签训练条件下,对比随机顺序和局部偏置顺序中的单记忆与双记忆方法,并分别评估新片段表征质量和旧分布保持能力。已有 EEG 相关工作尚未检索确认。
值得核对其如何区分“未能学到”与“学到后遗忘”,以及双记忆设计如何协调两者对记忆内容的不同要求;其对 EEG 在线表征学习的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net