跳到正文
OpenReview · Representation learning· Libo Huang; Zhulin An; Yan Zeng; Chuanguang Yang; Xinqiang Yu; Yongjun Xu·· 2024-01-01精选AI 评分72

通过增量表征实现无样本类增量学习

Exemplar-Free Class Incremental Learning via Incremental Representation

AI 导读

基于摘要分析。本文研究无样本类增量学习(Exemplar-Free Class Incremental Learning,efCIL):在不保存旧类样本的条件下持续学习新类别,同时保留旧类知识。作者提出 Incremental Representation(IR)框架,不构造旧类伪特征,而通过数据集增强与单一 L2 空间维护损失约束表征更新。 机制上,数据集增强用于覆盖适当的特征空间,空间维护损失用于抑制遗忘;推理阶段丢弃各序列任务训练得到的临时分类器,改用 1-nearest-neighbor 分类器。摘要未说明增强方式、L2 约束的具体对象,以及近邻推理所需参考表征如何构建和保存,因此不能将其进一步解释为特定的原型存储或特征回放机制。 作者报告,在 CIFAR100、TinyImageNet 和 ImageNetSubset 的 efCIL 实验中,IR 获得可比性能并显著抑制遗忘。摘要未提供具体指标、数值、对照方法及类别增量划分;这里的“显著”是作者表述,其统计依据、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 应用确实涉及新类别逐步加入、且不能保留旧类原始数据,IR 的表征空间维护思路可能对应类别增量中的遗忘问题,但原文验证对象是图像分类,并非 EEG 或 BCI。可考虑复用空间维护约束与近邻推理流程,需改造 EEG 编码器、增强策略及参考表征管理;低信噪比、跨被试或跨会话漂移、小样本与通道变化都可能使距离结构失稳。一个可检验的假设是:在固定被试与会话的 EEG 类别增量划分下,相较相同编码器的直接微调,加入空间维护约束能降低旧类性能下降;可用独立测试集同时比较旧类保持与新类学习,并统一旧数据禁存规则及存储预算。相关 EEG 工作尚未检索确认。

阅读价值

值得核对的是,IR 以单一 L2 空间维护损失和 1-nearest-neighbor 推理替代复杂旧类伪特征构造,为研究无样本回放条件下的遗忘提供了较简洁的对照方案,但其 EEG 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net