分而正交化:基于局部模型空间投影的高效持续学习
Divide and Orthogonalize: Efficient Continual Learning with Local Model Space Projection
基于摘要分析。本文研究持续学习中学习新任务与保留旧任务知识之间的矛盾,提出基于局部模型空间投影(LMSP)的框架,目标是降低现有逐层梯度投影或大规模历史数据存储带来的资源开销。其主要研究对象是通用持续学习,而非 EEG 或 BCI。 机制与理论:摘要将 LMSP 与传统全局方法进行比较,作者报告投影相关计算复杂度由 O(n³) 降至 O(n²),同时以较小的性能折衷保留前向和后向知识迁移,并提供误差与收敛性质的理论分析。但 n 的定义、局部空间的划分方式、正交化与投影的具体实现、理论成立条件,以及是否仍需保存历史数据,均尚未验证,不能据此认定端到端训练具有相同比例的加速。 实验依据:作者报告在多个公开数据集上取得有竞争力的性能与明显效率收益。摘要未提供数据集名称、任务序列、模型规模、对照基线或具体指标;实验协议、消融及统计信息尚未验证。阅读全文时应核对投影计算、存储开销与总体训练耗时是否分别测量,以及知识保持和前后向迁移如何定义与评估。 平台推测(待验证):若局部投影能够以较低成本限制新任务更新对旧知识的干扰,可能用于 EEG 跨会话或跨被试顺序学习。该假设依赖任务边界、任务顺序及可获得监督;可考虑复用投影机制,但需针对 EEG 编码器及会话间通道差异改造空间划分。低信噪比、被试差异和小数据可能使局部空间估计不稳定,或过度限制适应。一个可检验的小实验是在固定 EEG 编码器、训练预算与历史数据访问条件下,按会话顺序比较 LMSP、相应全局投影方法及顺序微调,分别记录旧会话性能、新会话性能、耗时和峰值内存。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性的证据。
值得核对 LMSP 将投影计算复杂度从全局方法的 O(n³) 降至 O(n²) 所依赖的条件,以及效率收益与知识保持之间的权衡;摘要尚不足以确认其对 EEG 持续学习的适用性。
来源:OpenReview · State space models · openreview.net