跳到正文
OpenReview · Representation learning·· 2022-06-10精选AI 评分79

以准线性复杂度实现协同终身学习的表征集成

Representation Ensembling for Synergistic Lifelong Learning with Quasilinear Complexity

AI 导读

基于摘要分析。本文研究终身学习能否超越避免遗忘,使新数据同时改善既往任务与未来任务的表现,提出分别基于树和网络的两种表征集成算法。核心贡献是将跨任务复用的对象从预测决策转为学习到的表征,并提出以准线性空间和时间复杂度组织集成。 其机制出发点是:不同任务即使类别不重叠、无法直接集成预测决策,其各自学到的表征仍可能对其他任务有用。作者认为,在任务间分布足够相似时,集成独立学习的表征可以支持前向迁移与后向迁移。摘要未说明表征如何组合、任务预测器如何更新,以及复杂度相对于哪些规模变量定义,这些需结合全文核对。 作者报告,两类算法在涵盖表格、图像、语音及对抗任务的模拟与真实数据场景中均展示了前向和后向迁移;所比较的多数参考算法未能实现其中一种或两种迁移,且许多参考方法需要二次空间或时间复杂度。摘要未提供具体数据集、任务顺序、划分、指标及数值,实验协议、消融及统计信息尚未验证,不能据此确定收益大小或普遍优势。 平台推测(待验证):若跨被试或跨会话 EEG 任务之间存在可复用表征,这一机制可能用于检验新任务数据能否反向改善旧任务,而不只是维持旧任务性能。可复用的是独立任务表征库与集成思路;EEG 编码器、通道对齐及任务预测模块需另行适配。低信噪比、被试差异、通道不一致和小样本可能造成负迁移。一个可证伪的小实验是在固定通道的 Cross-session EEG 分类中按会话顺序学习,在固定旧会话测试集上比较独立训练与表征集成的表现,并记录新增会话后的旧任务变化、新任务表现及资源开销。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其如何通过跨任务表征集成同时实现前向与后向迁移,以及准线性复杂度的适用条件;摘要报告了多类任务上的结果,但其对 EEG 持续学习的有效性尚未验证。

来源:OpenReview · Representation learning · openreview.net