划分与正交化:基于局部模型空间投影的高效持续学习
Divide and Orthogonalize: Efficient Continual Learning with Local Model Space Projection
基于摘要分析。本文研究持续学习(CL)中学习新任务而不遗忘旧知识的问题,提出基于局部模型空间投影(LMSP)的框架,旨在降低计算复杂度,并通过扩展局部模型任务增加具有较强相关性的候选池。原论文主要研究通用持续学习,并非 EEG 或 BCI 方法。 机制与贡献:作者将现有方法的资源开销归结为梯度投影计算,以及为相关旧任务选择而保存大量旧任务。LMSP 以局部模型空间投影处理这些问题,但摘要未说明局部空间如何划分、投影与正交化的具体计算方式、任务相关性判据或所需历史信息。作者报告,从理论上说明该方法能够实现后向知识迁移;这一结论的假设、适用条件及其与遗忘控制的关系需要全文核对。 实验依据:作者报告,在多个公开数据集上的实验展示了方法的效率。摘要未提供数据集名称、任务序列、数据划分、对照基线、性能指标或计算与存储开销数值,因此尚不能判断效率收益是否伴随性能权衡。实验协议、消融及统计信息尚未验证,复现所需的实现和配置也尚未确认。 平台推测(待验证):若局部空间投影能保留旧任务相关的更新方向,可能用于缓解 EEG 跨会话持续学习中的遗忘。可考虑复用投影与任务候选选择机制,但需明确 EEG 会话的任务定义,并改造信号表征及相关性估计;低信噪比、通道变化、被试差异和小样本可能使局部空间或任务关联估计失真。一个可检验的小实验是:在固定被试、固定通道的顺序会话学习中,使用相同 EEG 编码器,对比 LMSP 与直接顺序微调,评估旧会话 Balanced Accuracy 的变化及更新耗时,再观察新会话表现是否受损。已有 EEG 相关工作尚未检索确认,通用持续学习结果不构成 BCI 有效性的证据。
值得阅读其局部模型空间投影如何降低持续学习的投影与旧任务选择开销,以及后向知识迁移的理论条件;其在 EEG 持续学习中的适用性尚未验证。
来源:OpenReview · State space models · openreview.net