跳到正文
OpenReview · Representation learning· Kengo Murata; Tetsuya Toyota; Kouzou Ohara·· 2020-01-01精选AI 评分73

持续学习模型内部发生了什么?——表征遗忘的基于表征的评估

What is Happening Inside a Continual Learning Model? - A Representation-Based Evaluation of Representational Forgetting -

AI 导读

基于摘要分析。本文研究持续学习过程中模型内部已学表征如何被遗忘,提出基于表征的评估框架,以补充仅依据最终类别预测等输出进行的评估。其核心贡献是将表征遗忘作为独立分析对象,而不只观察最终任务表现。 作者报告,在三个基准数据集上的实验中,深度神经网络的浅层也出现了不可忽视的表征遗忘;当表征遗忘发生时,哪些任务学得更准确,与观察到遗忘的网络层深度有关。这些结果提示,遗忘的层级位置与任务表现之间存在需要进一步分析的关系,但不能据此认定表征变化必然导致输出性能下降。 摘要未说明表征遗忘的度量定义、具体数据集、任务序列、网络结构、对照方法及定量结果,实验协议、消融及统计信息尚未验证。复现前需要核对框架如何区分有害遗忘与有助于新任务学习的表征变化,以及层间比较是否使用可比的度量。 平台推测(待验证):这一评估视角可能用于分析 EEG 持续学习中的跨会话表征变化,但原文并未提供 EEG 或 BCI 证据,已有 EEG 相关工作尚未检索确认。可复用的是逐层追踪历史任务表征的分析思路;应用于 EEG 时需按被试、会话和通道配置定义任务边界,并区分信号分布漂移与遗忘。低信噪比和小样本可能使表征度量不稳定。一个可检验的小实验是在固定 EEG 编码器架构下按会话顺序训练,使用各历史会话独立留出且不参与更新的样本,同时记录逐层表征变化与历史任务表现,检验二者是否一致,以及浅层变化是否稳定出现。

阅读价值

该研究将持续学习的评估从最终预测扩展到内部表征,为核查遗忘发生的层级及其与任务表现的关系提供了分析视角,但评估框架的具体实现与结论适用范围尚待全文验证。

来源:OpenReview · Representation learning · openreview.net