跳到正文
OpenReview · State space models· Ido Nitzan Hidekel; Dan Raviv·· 2026-05-23精选AI 评分78

灾难性遗忘具有低秩性:持续适应的函数空间理论

Catastrophic Forgetting is Low-Rank: A Function-Space Theory for Continual Adaptation

AI 导读

基于摘要分析。本文研究持续适应中旧任务预测为何随新任务训练发生漂移,核心贡献是在 Neural Tangent Kernel(NTK,神经切线核)框架下,以跨任务核描述输出空间干扰,并给出在新任务梯度更新前预测遗忘向量的闭式表达。 机制与适用边界:不同于主要关注参数漂移、回放或蒸馏的视角,该理论直接识别旧任务输出空间中易受影响的方向。作者报告,在冻结骨干、仅训练线性头的参数高效微调持续学习(PEFT-CL)情形中,模型对可训练参数呈线性,因此预测器在数值精度范围内精确;对于非线性适配器或全量微调,该预测器仅是局部 NTK 近似,不应将其精确性推广到这些设置。 作者报告,同一表达揭示遗忘集中于少量旧任务 NTK 特征模态,并在冻结线性头条件下导出易受影响方向秩的 Kronecker 缩放规律。论文据此讨论与既有 NTK-overlap 理论的关系,解释参数空间正则化为何可能无法捕捉输出空间干扰,并提出针对性谱正则化的动机。摘要未提供具体公式、正则化实现、数据集或性能数字;实验协议、消融及统计信息尚未验证。 平台推测(待验证):该机制可能对应 EEG 持续适应中新被试或新会话更新损害旧任务预测的瓶颈,但原论文主要对象是通用持续适应,并非已验证的 BCI 方法。迁移依赖可计算的特征或 NTK,以及用于估计跨任务关系的旧、新任务样本;预测器是否需要新任务标签及旧数据保留条件尚需全文核对。可优先复用冻结 EEG 编码器上的线性头分析,任务输出定义和谱估计则需适配。低信噪比、通道变化、被试差异及小样本可能使谱估计不稳定,非线性更新也可能破坏局部近似。一个可检验的小实验是在固定通道的 Cross-session 设置中,更新前预测旧会话输出漂移,再与线性头适应后的实测漂移及其谱集中程度比较。相关 EEG 工作尚未检索确认。

阅读价值

值得核对其训练前遗忘预测器与针对性谱正则化:摘要区分了冻结骨干线性头条件下的精确预测与非线性微调中的局部近似,为检验持续适应中的输出空间干扰提供了明确机制。

来源:OpenReview · State space models · openreview.net