跳到正文
OpenReview · Representation learning· Sungmin Cha; Jihwan Kwak; Dongsub Shim; Hyunwoo Kim; Moontae Lee; Honglak Lee; Taesup Moon·· 2024-01-01精选AI 评分75

迈向更多样的类增量学习评估:表征学习视角

Towards More Diverse Evaluation of Class Incremental Learning: Representation Learning Perspective

AI 导读

类增量学习(Class Incremental Learning,CIL)旨在持续学习逐步到来的新对象类别,同时避免遗忘已学类别;本文研究常用的已学类别平均测试准确率是否足以衡量表征学习能力,并提出增加表征层面的评估。基于摘要分析,未取得论文全文。 研究采用多种表征学习评估协议,分析由 CIL 算法训练的神经网络,并提出新的分析方法。其核心区分是:模型能否保持较高分类准确率,与表征是否持续更新、是否适合迁移至下游任务,并不等价。摘要未说明具体评估任务、新分析方法的计算方式或训练细节。 作者报告,在所考察的算法与实验设置中,多数被称为当前先进水平的算法偏重稳定性,学到的表征变化不显著,有时表征质量甚至低于朴素基线;但这些算法仍能取得较高测试准确率,因为其分类器接近用于线性探测(linear probing)的估计线性分类器。作者还报告,不同算法在首任务单任务学习阶段形成的基础模型具有不同的表征质量,这种差异影响最终 CIL 性能。摘要未提供数据集、任务序列、基线定义、具体数值及统计信息,因此这些结论的适用范围尚需核对,不能据此判定某一算法普遍更优。 平台推测(待验证):这一评估思路可能用于需要逐步扩展类别的 EEG 解码,检验分类器适配是否掩盖了表征更新不足。原研究依赖逐步到来的带类别监督数据;迁移时可复用表征评估与线性探测框架,但需改造 EEG 输入编码和任务划分,并控制跨被试、跨会话分布差异。低信噪比、通道差异和小样本可能使线性探测结果不稳定。一个可检验的小实验是:在固定被试内划分和类别增量顺序下,同时记录已学类别平均测试 Accuracy 与冻结表征的线性探测表现,对照朴素增量训练基线,检查二者是否出现趋势分离。已有 EEG 相关工作尚未检索确认;原论文实验协议、消融及统计信息尚未验证。

阅读价值

值得阅读之处在于检验类增量学习的分类准确率是否充分反映表征的持续更新与迁移价值,并提示应区分首任务表征质量、后续表征变化和分类器适配的贡献。

来源:OpenReview · Representation learning · openreview.net