跳到正文
OpenReview · Representation learning· Yong Luo; Hongwei Ge; Yuxuan Liu; Chunguo Wu·· 2024-07-01精选AI 评分72

无样本类增量学习的表征鲁棒性与特征扩展

Representation Robustness and Feature Expansion for Exemplar-Free Class-Incremental Learning

AI 导读

该研究针对旧类数据不可访问时的灾难性遗忘问题,提出一种无样本类增量学习方法,通过增量训练阶段移除 batch normalization(BN)层及混合旧类原型,改善稳定性与可塑性的平衡。基于摘要分析,原研究对象是图像分类,而非 EEG 或 BCI。 方法包含两个部分:其一,作者依据对 BN 影响表征学习的探索,提出在增量训练阶段移除 BN 层(RBNL),以提高表征稳定性;其二,提出 prototype mixing(PM),随机线性组合旧类原型,生成带有复合标签的混合原型,用于微调全连接层。这里的“无样本”指不保留旧类样本,并非不保存任何历史信息;方法仍使用旧类原型。摘要未说明 BN 移除的具体实现、原型更新方式、混合标签构造细节及损失形式。 作者报告,在 CIFAR-100、TinyImageNet 和 ImageNet 三个图像基准上,该方法能够平衡稳定性与可塑性,并优于所比较的现有方法。摘要未给出具体指标、类别增量划分及对照配置,无法据此量化优势;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 应用需要持续加入新类别且不能保存旧类原始信号,旧类特征原型与分类头微调机制可能提供可测试的迁移路径。其前提是旧类原型在特征空间变化后仍具代表性,且原型线性混合具有有效的类别监督意义。可复用模块是原型存储与混合,需改造 EEG 编码器及其归一化策略;低信噪比、跨被试或跨会话漂移可能使原型失真,小数据也可能削弱移除 BN 后的训练稳定性。一个小规模检验是在固定被试内类别增量协议下,以相同原型存储预算比较基线、仅 RBNL、仅 PM 及两者结合,记录整体与旧类 Accuracy 的变化。相关 EEG 工作尚未检索确认。

阅读价值

值得核对增量训练阶段移除 BN 与原型混合对表征及决策边界稳定性的独立贡献,但其在 EEG 类增量学习中的有效性尚未验证。

来源:OpenReview · Representation learning · openreview.net