跳到正文
OpenReview · Representation learning· Siwoo Bae; Hanchen David Wang; Zirong Chen; Meiyi Ma·· 2024-09-28精选AI 评分72

面向连续多任务学习的 Learning with Preserving 方法

Learning with Preserving for Continual Multitask Learning

AI 导读

基于摘要分析。本文研究连续引入不同任务、历史数据不可用或新数据有限时,如何学习新任务并保留既有知识。作者提出 Continual Multitask Learning(CMTL)问题设定及 Learning with Preserving(LwP)方法,以支持多样任务并缓解灾难性遗忘。 核心机制是 Dynamically Weighted Distance Preservation loss,通过动态加权的距离保持约束维护表征完整性,且不使用回放缓冲区。摘要未说明距离的计算对象、权重更新方式、旧知识的参照来源,以及任务之间如何共享表征;这些细节决定该方法与既有连续学习约束的实质差异,尚需正文核对。 作者报告,在覆盖两类模态的三个基准数据集上进行了评估,涉及用于运动质量评估的惯性测量单元多变量时间序列及图像数据;相对于已有连续学习基线,LwP 表现更优并能缓解灾难性遗忘。摘要未给出数据集名称、任务序列、划分方式、具体基线、指标或数值,实验协议、消融及统计信息尚未验证,不能据此量化收益或判断其泛化边界。 平台推测(待验证):若距离保持确实能在任务持续增加时稳定共享表征,该机制可能用于探索 EEG 多任务学习中的遗忘问题,但原研究并非 EEG/BCI 验证。可复用候选是表征约束,需改造信号编码器及任务输出模块;EEG 的低信噪比、跨被试差异、通道变化和小数据条件可能使距离结构不稳定,过强保持还可能阻碍新任务适应。一个可证伪的小实验是在固定被试划分与通道配置下,比较顺序学习基线和加入该约束后的新任务表现及旧任务性能下降幅度。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其动态加权距离保持损失如何在不使用回放缓冲区的条件下兼顾旧任务保持与新任务学习,但摘要不足以判断收益幅度及其对 EEG 连续多任务学习的适用性。

来源:OpenReview · Representation learning · openreview.net