在特征协方差零空间中训练网络以实现持续学习
Training Networks in Null Space of Feature Covariance for Continual Learning
基于摘要分析。本文研究通用持续学习中网络依次学习多个任务时的灾难性遗忘问题,提出 Adam-NSCL,将候选参数更新投影到先前任务特征的近似零空间,以平衡保留旧知识的稳定性与学习新任务的可塑性;原研究并非 EEG 或 BCI 实验。 机制上,作者分别提出实现稳定性与可塑性的两个数学条件,并据此约束新任务的参数更新。候选更新可由 Adam 生成;针对每个线性层,算法对先前任务全部输入特征的未中心化协方差矩阵进行奇异值分解,获得近似零空间,再将候选更新投影至该空间。该矩阵可在每个任务学习结束后增量计算。摘要未给出数学条件的具体形式、近似零空间的截断准则及计算开销。 作者报告,在 CIFAR-100 和 TinyImageNet 的持续学习实验中,该方法优于或匹配当时的先进持续学习方法,并对各线性层近似零空间的合理性进行了经验验证。摘要未提供任务划分、对照方法名称或具体指标,实验协议、消融及统计信息尚未验证,因此不能据此量化性能优势。 平台推测(待验证):若 EEG 解码被组织为有明确任务边界的跨会话序列,该机制可能用于限制新会话训练对旧会话特征响应的扰动。可复用部分是逐层特征统计与更新投影;需适配 EEG 特征提取器、任务边界和零空间阈值。低信噪比、小样本可能使协方差估计不稳,被试或通道变化也可能破坏特征空间的一致性;投影约束过强则可能阻碍新会话学习。一个可证伪的小实验是在同一被试、固定通道的多会话运动想象 EEG 上,使用相同骨干、任务顺序和训练预算,对比 Adam 与 Adam-NSCL,分别评估旧会话遗忘和新会话性能。已有 EEG 相关工作尚未检索确认。
值得关注的是 Adam-NSCL 将持续学习中的稳定性约束转化为逐层参数更新的近似零空间投影,并通过增量特征统计实现;其对 EEG 跨会话持续适应的价值尚未验证。
来源:OpenReview · State space models · openreview.net