分解与正交化:基于局部模型空间投影的高效持续学习
Divide and Orthogonalize: Efficient Continual Learning with Local Model Space Projection
基于摘要分析。本文研究持续学习中学习新任务与保留旧任务知识的兼容问题,提出基于局部模型空间投影(LMSP)的框架,旨在降低既有方法中逐层梯度投影的计算开销或历史任务数据存储负担。其主要研究对象是通用持续学习,而非 EEG 或 BCI。 核心机制是以局部模型空间投影替代传统全局处理。作者报告,相关计算复杂度由 O(n³) 降至 O(n²),同时保持前向与后向知识迁移,性能权衡较小;但摘要未定义 n 的含义及复杂度所对应的具体运算,不能据此直接推导端到端训练加速。标题涉及分解与正交化,但局部空间如何划分、投影如何构造、是否依赖历史样本或任务标识,尚未验证。 作者称提供了 LMSP 相对传统全局方法的误差与收敛性质分析,并在多个公开数据集上取得有竞争力的性能及效率收益。摘要未给出数据集名称、任务序列、对照方法、评价指标或具体结果,因此其性能与效率结论仍需结合全文核对;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 LMSP 能约束新任务更新对既有知识的干扰,可能对应 EEG 跨会话持续适应中的遗忘与计算资源瓶颈。可考虑复用投影约束机制,但需改造 EEG 特征编码及任务边界处理,并确认其对监督标签、历史数据和任务规模的依赖。低信噪比、被试差异、通道变化与小样本可能使局部空间估计不稳定,或使旧知识约束妨碍新会话适应。一个可证伪的小实验是在固定 EEG 编码器和一致数据划分下按会话顺序训练,对比 LMSP、直接微调及全局投影,分别记录旧会话性能变化、新会话性能、运行时间和内存占用,不混同比较被试内与跨被试协议。已有 EEG 相关工作尚未检索确认。
值得核对 LMSP 如何以局部模型空间投影降低持续学习的计算开销,以及效率提升是否伴随可接受的遗忘与迁移代价;其对 EEG 持续适应的价值尚未验证。
来源:OpenReview · State space models · openreview.net