面向无样本类增量学习的表征鲁棒性与特征扩展
Representation Robustness and Feature Expansion for Exemplar-Free Class-Incremental Learning
基于摘要分析。本文研究历史数据不可访问时的无样本类增量学习,提出通过增量训练阶段移除 BN 层和混合旧类原型,缓解灾难性遗忘并平衡模型的稳定性与可塑性。这里的“无样本”指不保存历史样本,方法仍保留类别原型,并非不使用历史类别信息。 核心机制包括两部分:其一,作者基于对 batch normalization(BN)影响表征学习的探索,提出在增量训练阶段移除 BN 层(RBNL),以提高表征稳定性;其二,通过 prototype mixing(PM),随机线性组合旧类原型,生成带有复合标签的混合原型,用于微调全连接层。两者分别面向表征稳定性和分类决策边界维护。具体原型计算与更新规则、复合标签形式、移除 BN 后的参数处理及训练损失尚未验证。 作者报告,在 CIFAR-100、TinyImageNet 和 ImageNet 三个基准数据集上的实验支持该方法平衡稳定性与可塑性,并优于所比较的先进方法。摘要未提供具体指标、增量阶段划分、初始类别数或对照结果,因此不能量化优势;实验协议、消融及统计信息尚未验证。 平台推测(待验证):该机制可能对应 EEG 分类中新增类别且不能保留历史试次的情境,而非一般的跨被试或跨会话适应。可复用的是类别原型存储与特征空间混合,需改造 EEG 编码器及归一化处理。假设旧类原型足以代表类别结构,PM 才可能有效;低信噪比、被试差异、通道变化及小数据可能使原型失真,移除 BN 也可能改变训练稳定性。可在固定被试与通道配置的 EEG 新类别增量协议下,对照基线、仅 RBNL、仅 PM 和二者联合,分别检查旧类保留与新类学习表现。已有 EEG 相关工作尚未检索确认。
值得核对增量训练阶段移除 BN 与旧类原型混合各自对表征稳定性和决策边界的贡献,但摘要中的性能优势仍需结合增量划分、基线与消融验证。
来源:OpenReview · Representation learning · openreview.net