持续学习:快与慢
Continual Learning, Fast and Slow
基于摘要分析。本文研究深度神经网络的持续学习问题,受神经科学中互补学习系统(CLS)理论启发,提出 DualNets,以快速学习系统获取任务特定表征,以慢速学习系统积累任务无关的通用表征。研究对象是通用持续学习及视觉任务,并非 EEG 或 BCI 实验。 机制上,快速系统通过监督学习获得特定任务的模式分离表征,慢速系统通过自监督学习(SSL)学习通用表征,框架再整合两类表征以支持持续学习。摘要未交代表征整合方式、具体损失、数据保留策略及更新流程,不能据此推断其网络结构或是否使用回放。 作者报告,实验覆盖标准离线、任务已知设置,以及在线、无任务信息场景。在包含互不相关且视觉图像差异较大任务的 CTrL benchmark 上,作者报告 DualNets 与已有最先进动态架构策略具有竞争力,但摘要未提供具体指标、数值及资源开销。作者还报告开展了针对有效性、稳健性与可扩展性的消融研究;实验协议、消融细节及统计信息尚未验证。 平台推测(待验证):双系统分工可能为 EEG 持续学习中的跨会话漂移与旧任务知识保留提供机制假设。可复用的是任务特定监督学习与通用自监督表征的分工;需改造 EEG 编码器、自监督目标及两类表征的整合方式。其依赖可顺序到达的数据、快速系统的监督信号,以及足够支持自监督学习的数据;低信噪比、被试差异、通道变化和小样本可能使通用表征学习到干扰因素。可先在固定通道的 MI 跨会话序列上,与相同数据访问及存储预算的单系统基线比较新会话 Accuracy 和旧会话性能下降,检验分工是否有效。已有 EEG 相关工作尚未检索确认。
DualNets 将任务特定的监督表征与任务无关的自监督表征结合,为分析持续学习中的知识保留与通用表征提供了具体框架,但其 EEG/BCI 适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net