跳到正文
OpenReview · Representation learning· Zihao Wu; Huy Tran; Hamed Pirsiavash; Soheil Kolouri·· 2023-01-01精选AI 评分75

多任务学习是持续学习的性能上界吗?

Is Multi-Task Learning an Upper Bound for Continual Learning?

AI 导读

基于摘要分析。本文研究多任务学习是否能够合理地作为持续学习的性能上界,并提出一种持续自监督学习方法:将对特定类别数据增强学习不变表征定义为一个任务,以构造自然存在冲突的多任务情境。 核心机制是任务间的不变性要求可能相互矛盾。作者指出,多任务联合学习中的少数任务可能对其他任务产生负面影响;持续学习则可能避免这些任务的不利影响,保留其余任务的性能。这里的“对抗性任务”指对共同学习造成干扰的任务,不应直接等同于对抗样本攻击。摘要未说明具体增强操作、表征目标、持续学习算法及冲突衡量方式。 作者报告,在上述增强不变性任务设置下,持续学习在 MNIST、CIFAR-10 和 CIFAR-100 上经常优于多任务学习。摘要未提供具体指标、数值、任务顺序或训练预算,因此这一结果应限定于其任务构造与评估条件,不能推广为持续学习普遍优于多任务学习。实验协议、消融及统计信息尚未验证。 平台推测(待验证):该机制可用于审视 EEG 自监督学习中不同增强目标是否冲突,而非直接证明 EEG/BCI 性能提升。可复用的是“按增强不变性定义任务并比较联合与顺序学习”的设计;需依据 EEG 信号特性改造增强操作,避免移除任务相关信息。低信噪比、跨被试与通道差异、小数据条件可能使增强引起的信号破坏被误判为任务冲突。一个可检验的小实验是在固定 EEG 数据划分、编码器及训练预算下,对两类候选增强分别进行联合和顺序自监督训练,并以相同下游评估协议比较结果及任务顺序敏感性。相关 EEG 工作尚未检索确认。

阅读价值

该研究通过数据增强不变性之间的任务冲突,检验多任务学习能否充当持续学习性能上界这一常用假设,值得核对其任务构造、训练预算及比较协议。

来源:OpenReview · Representation learning · openreview.net