在特征协方差零空间中训练网络以实现持续学习
Training Networks in Null Space of Feature Covariance for Continual Learning
基于摘要分析。本文研究连续学习多个任务时的灾难性遗忘,提出 Adam-NSCL:将候选参数更新投影到历史任务特征的近似零空间,以平衡保留旧任务能力的稳定性与学习新任务的可塑性。原研究对象是图像分类持续学习,而非 EEG 或 BCI。 机制上,作者提出分别对应稳定性与可塑性的两个数学条件,并据此约束顺序任务的参数更新。候选更新可由 Adam 生成;对每个线性层,利用历史任务输入特征的未中心化协方差矩阵进行奇异值分解,得到近似零空间。该矩阵可在每个任务学习结束后增量计算。摘要未说明零空间截断阈值、具体投影公式及存储和计算开销,相关实现条件尚未验证。 作者报告,在 CIFAR-100 和 TinyImageNet 的持续学习评估中,该方法优于或匹配当时的先进持续学习方法,并对各线性层近似零空间的合理性进行了经验验证。摘要未给出任务划分、类别增量或任务增量设置、推理时是否提供任务身份、具体基线及指标数值;实验协议、消融及统计信息尚未验证。 平台推测(待验证):该机制可能用于 EEG 跨会话顺序适应,尝试在吸收新会话信息时减少旧会话能力退化。其依赖可分解的层输入特征二阶统计量及明确的顺序任务边界;可复用增量协方差统计和更新投影模块,但需适配 EEG 编码器与会话划分。低信噪比、小样本及通道变化可能使协方差估计不稳,或使保护旧特征的约束阻碍必要适应。一个可证伪的小实验是在同一被试的多会话有标签 EEG 分类中,固定编码器架构与数据划分,比较 Adam 顺序微调和 Adam-NSCL,分别测量新会话表现与旧会话性能下降。已有 EEG 相关工作尚未检索确认。
Adam-NSCL 以历史特征协方差的近似零空间约束参数更新,为分析持续学习中的稳定性与可塑性提供了可核对的机制,但其 EEG 跨会话适用性尚未验证。
来源:OpenReview · State space models · openreview.net