连接终身学习与多任务表征学习:一种算法与一种复杂度度量
Bridging Lifelong and Multi-Task Representation Learning: An Algorithm and a Complexity Measure
基于摘要分析。本文研究具有共享数据表征的任务依次到达时,学习者如何利用已有知识并持续收集部分信息,以加速后续任务学习。作者提出以多任务经验风险最小化为子程序的终身表征学习算法,并引入 task-eluder dimension,据此建立样本复杂度界。 与任务预先可用的多任务学习或 learning-to-learn 不同,该框架强调在线获取任务信息与持续利用共享结构。作者报告,理论结果适用于涉及一般函数类的多种学习问题,并给出含噪分类与回归任务的具体实例。摘要未提供算法更新细节、复杂度界的具体形式、噪声假设或实例的适用条件,尚不能判断该度量如何随任务数、表征类或任务差异变化;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若不同被试或会话的 EEG 任务存在可复用表征,该框架可能为顺序学习中的标注样本需求提供分析思路。此假设依赖任务间共享结构及在线可获得的监督信息;多任务经验风险最小化的组织方式可能可复用,但 EEG 表征类、任务定义及更新策略需另行设计。低信噪比、通道配置差异、被试异质性与小样本可能削弱共享结构假设。一个可检验的小实验是在固定运动想象任务、统一通道与预处理的条件下,按被试顺序加入训练任务,对照独立训练,比较后续被试达到预设 Accuracy 所需的标注样本数,并考察任务顺序敏感性。该实验仅为迁移假设检验,不代表论文已验证 EEG 效果;已有 EEG 相关工作尚未检索确认。
值得阅读之处在于以多任务经验风险最小化连接在线终身表征学习,并用 task-eluder dimension 刻画样本复杂度;其理论假设及对 EEG 跨被试任务的适用性尚待核对。
来源:OpenReview · Representation learning · openreview.net