跳到正文
OpenReview · Representation learning·· 2023-01-06精选AI 评分80

具有准线性复杂度的协同终身学习表征集成

Representation Ensembling for Synergistic Lifelong Learning with Quasilinear Complexity

AI 导读

基于摘要分析。本文研究终身学习如何利用新增任务数据,不仅改善未来任务表现,也提升既往任务表现,而非仅避免遗忘。核心贡献是集成在不同任务上独立学习的表征,并提出基于树和基于网络的两种表征集成算法,以支持前向迁移与后向迁移。 机制上,作者将表征集成区别于决策森林式的决策集成,也区别于多任务学习中相互依赖地学习表征的方式。作者报告,该机制能够以准线性的空间与时间复杂度实现;但摘要未说明复杂度所对应的规模变量、表征组合方式、任务间接口及训练与推理流程,具体条件尚未验证。 作者报告,在涵盖表格、图像、语音及对抗任务的多种模拟与基准数据情境中,两种算法均展示了前向与后向迁移;所比较的参考算法多数未能同时实现两类迁移,部分算法需要二次空间或时间复杂度。摘要未提供具体数据集、任务序列、评价指标或数值,因此不能据此判断收益幅度与适用边界;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其潜在 EEG 对应问题是跨会话持续学习中新旧知识难以共同受益。可复用的候选模块是独立表征学习与后续集成,但需适配 EEG 通道布局、时序特征及会话分布变化,并核对是否依赖任务身份、旧数据或额外监督。低信噪比、小样本与跨被试差异可能使表征互补性不足,甚至引入负迁移。一个可检验的小实验是在固定标签空间的 EEG 跨会话任务中,按会话顺序学习,比较表征集成、单模型顺序训练及独立训练,分别测量新增会话后的旧会话表现、后续会话表现和资源开销;测试数据应独立保留。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将跨任务独立学习的表征进行集成、同时追求前向与后向迁移的机制,以及准线性资源开销的实现条件;其对 EEG 持续学习的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net