Matryoshka Continual Learning:用于持续学习的嵌套表征
Matryoshka Continual Learning: Nested Representations for Continual Learning
基于摘要分析。本文针对持续学习中新任务覆盖旧任务表征所导致的灾难性遗忘,提出 Matryoshka Continual Learning(MCL),将单一嵌入组织为由粗到细的嵌套子表征。其主要研究对象是通用持续分类学习,评估涉及图像与 Robotic Tactile Internet(RTI)数据,并非 EEG 或 BCI。 机制上,嵌入的前若干维构成可独立支持分类的紧凑表征;更长的前缀包含已有维度,并逐步补充细粒度信息。训练采用教师—学生设置:教师可访问特权知识,学生与教师架构相同,但无法访问该知识。作者强调,MCL 改造的是表征而非学习规则,因此可接入既有持续学习方法;特权知识的具体内容、监督方式、损失函数及接入细节尚未验证。 作者报告,在与 9 个基线比较的 Task-Incremental Learning(Task-IL)设置下,MCL 在 Seq-CIFAR-100 和 Seq-Tiny-ImageNet 上的 Accuracy 分别为 87.29% 和 77.59%,分别比次优方法高 0.32 和 1.97 个百分点。在 Class-Incremental Learning(Class-IL)设置下,作者报告其在这两个基准上的 Accuracy 均位列第二,plasticity–stability score 最高。摘要还列出 RTI 数据集,但未提供其具体结果。任务划分、基线配置、该评分的定义、消融及统计信息尚未验证。 平台推测(待验证):嵌套表征可能用于缓解 EEG 连续任务学习中的旧类别遗忘,但这是假设,原领域结果不能直接外推。可复用部分是前缀表征与教师—学生训练框架,需改造 EEG 编码器并明确实际可用的教师知识。低信噪比、跨被试差异及小数据可能使短前缀丢失判别信息,或将被试特征固化。一个可证伪的小实验是固定 EEG 数据划分与类别增量顺序,对比同一持续学习基线加入 MCL 前后的 Accuracy 和遗忘程度,同时控制教师信息与训练预算。已有 EEG 相关工作尚未检索确认。
值得核对嵌套表征能否作为现有持续学习方法的可组合模块改善遗忘,但教师特权知识的来源及其评估条件尚未验证,摘要结果也不构成 EEG 持续学习有效性的证据。
来源:OpenReview · Representation learning · openreview.net