跳到正文
OpenReview · State space models· Zhen Zhao; Zhizhong Zhang; Xin Tan; Jun Liu; Yanyun Qu; Yuan Xie; Lizhuang Ma·· 2023-01-01精选AI 评分74

重新思考梯度投影持续学习:稳定性与可塑性特征空间解耦

Rethinking Gradient Projection Continual Learning: Stability/Plasticity Feature Space Decoupling

AI 导读

基于摘要分析。本文研究持续学习中逐步学习新类别时的遗忘与适应能力冲突,提出空间解耦算法 space decoupling(SD),通过对稳定性与可塑性子空间施加不同约束,改善梯度投影方法的稳定性—可塑性平衡。 核心机制:作者指出,既有方法要求更新梯度与整个历史特征空间正交;随着任务增加、特征空间扩展,可行更新方向受到更强限制,从而降低学习新任务的可塑性。SD 将特征空间分解为互补子空间:稳定性空间 I 由历史与当前特征空间的交集构建,主要包含任务共享基;可塑性空间 R 通过正交补空间构建,主要包含任务特异基。摘要中正交补所对应的符号 T 未明确解释,具体定义及两类空间的约束形式需核对全文。 结果与证据边界:作者报告,将 SD 应用于梯度投影基线后,在公开数据集上获得 SOTA 结果,并称其具有模型无关性。摘要未提供数据集名称、任务序列、模型、对照数值或评估指标,因此无法判断改善幅度及适用范围;实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设 EEG 持续学习中的共享特征与新增类别或会话特异特征能够被可靠区分,这种差异化投影约束可能缓解保留旧知识与适应新分布之间的冲突。可复用部分是子空间估计与梯度约束机制,需改造的是 EEG 特征提取及任务定义;低信噪比、通道变化和小样本可能使交集估计不稳定,被试或会话差异也未必对应任务特异信息。一个可检验的小实验是在固定 EEG 编码器与相同类别增量序列下,对比原梯度投影基线与加入 SD 的版本,分别评估旧类别保持和新类别学习,并严格隔离训练与测试数据。跨会话适应应另设协议,不能与类别增量结果混比。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其通过共享与任务特异特征子空间分离来缓解梯度投影过度约束的机制,但摘要中的 SOTA 声明及其对 EEG 持续学习的适用性尚未验证。

来源:OpenReview · State space models · openreview.net