跳到正文
OpenReview · Representation learning· Hanchen David Wang; Siwoo Bae; Zirong Chen; Meiyi Ma·· 2025-12-31精选AI 评分75

面向持续多任务学习的保留式学习

Learning with Preserving for Continual Multitask Learning

AI 导读

基于摘要分析。本文研究 Continual Multitask Learning(CMTL):模型在共享的底层数据分布上依次学习不同任务,同时保留既有能力。作者提出 Learning with Preserving(LwP),将保留对象从任务输出转向共享表示空间的几何结构,以缓解任务间干扰与灾难性遗忘。 核心机制是 Dynamically Weighted Distance Preservation(DWDP)损失,通过正则化潜在数据表示之间的成对距离来约束表示漂移。作者认为,相较于形成碎片化任务专属特征的方法,保持共享几何结构有助于保留隐式知识并支持多种任务。摘要明确表示该方法不需要回放缓冲区,但动态权重的计算方式、距离度量、参考表示来源及训练流程尚未验证;无回放也不能单独视为隐私保证。 作者报告,在时间序列与图像基准上的 CMTL 评估中,LwP 减轻了灾难性遗忘,并优于所比较的先进基线;作者还报告其对分布偏移更稳健,且在所比较的方法中唯一超过强单任务学习基线。摘要未提供具体数据集、任务序列、数据划分、指标或数值,实验协议、消融及统计信息尚未验证,因而无法判断优势幅度及适用边界。 平台推测(待验证):若 EEG 场景是在共享输入分布上依次增加不同解码任务,而非仅更换被试或会话,表示距离保留可能对应共享编码器被新任务更新破坏的问题。可考虑复用几何约束思想,但需针对 EEG 表示选择距离度量、样本配对及权重策略;低信噪比可能使约束保留噪声,被试与通道差异可能使原有几何关系失效,小数据下成对距离估计也可能不稳定。一个可证伪的小实验是在同一 EEG 数据分布、固定任务顺序与划分下,对比顺序微调与加入 DWDP 约束后的旧任务性能、新任务性能及表示漂移。该实验依赖同一输入支持多个任务标签;已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性证据。

阅读价值

值得核对 DWDP 如何通过潜在表示的成对距离约束,在无回放缓冲区的持续多任务学习中减轻遗忘,尤其是其相对单任务基线的评估条件与分布偏移设置。

来源:OpenReview · Representation learning · openreview.net