跳到正文
OpenReview · Representation learning· Run He; Huiping Zhuang; Di Fang; Yizhu Chen; Kai Tong; Cen Chen·· 2024-01-01精选AI 评分73

REAL:用于无样本回放类别增量学习的表征增强解析学习

REAL: Representation Enhanced Analytic Learning for Exemplar-free Class-incremental Learning

AI 导读

基于摘要分析。REAL 面向无样本回放类别增量学习(EFCIL):在不能使用历史样本的条件下学习新增类别并缓解灾难性遗忘。其核心贡献是先增强特征提取器的表征,再采用解析学习(AL)进行类别增量更新,针对现有 AL 方法中冻结骨干对未见数据表征区分能力不足的问题。 方法包含双流基础预训练(DS-BPT)与表征增强蒸馏(RED)。DS-BPT 使用监督学习和自监督对比学习(SSCL)两条流提取基础知识;RED 将监督知识蒸馏到 SSCL 预训练骨干中,随后将类别增量学习转化为递归最小二乘问题。摘要未给出蒸馏目标、对比损失、骨干结构及递归更新的具体形式,这些实现条件尚未验证。 作者报告,在 CIFAR-100、ImageNet-100 和 ImageNet-1k 等数据集的 EFCIL 评估中,REAL 优于现有领先方法,并与采用历史样本回放的方法达到相当或更优的性能。摘要没有提供具体指标、基础类别与增量类别划分、增量阶段数量及对照配置,因此不能量化优势或直接比较不同协议。实验协议、消融及统计信息尚未验证。 平台推测(待验证):其机制可能对应 EEG 中无法长期保存历史试次、但需持续增加任务类别的情境,而非一般的跨被试或跨会话分布变化。可考虑复用监督与自监督预训练、蒸馏及解析分类器更新,但需要按 EEG 时序和通道结构改造编码器、对比增强与监督目标。该路径依赖基础阶段有可用标签和足够的预训练数据;低信噪比、被试差异、通道变化及小数据可能使冻结表征无法区分新增类别。一个可检验的小实验是在固定通道的 EEG 运动想象数据上构造被试内类别增量划分,在不回放历史试次的条件下,对比基础 AL 与加入 DS-BPT、RED 的版本,分别评估旧类保持和新类识别。此为迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 REAL 如何通过监督与自监督表征融合改善冻结骨干对新增类别的可分性,以及其无历史样本增量更新的适用条件;摘要中的性能主张和向 EEG 迁移的有效性尚需验证。

来源:OpenReview · Representation learning · openreview.net