跳到正文
OpenReview · Representation learning· Kunchi Li; Hongyang Chen; Jun Wan; Shan Yu·· 2025-01-01精选AI 评分73

CKDF-V2:有效缓解小记忆持续学习中的表征偏移

CKDF-V2: Effectively Alleviating Representation Shift for Continual Learning With Small Memory

AI 导读

基于摘要分析。本文研究小记忆持续学习中,新旧数据分布差异导致的表征偏移与灾难性遗忘,以及旧类回放样本有限造成的类别不平衡。作者提出 CKDF-V2,以特征增强校准(FBC)和分块知识蒸馏(BWKD)构成两阶段训练框架,扩展原有 cascaded knowledge distillation framework(CKDF)。 FBC 首先训练一个扩展模块,学习包含新旧类别的全部类别,以发现原模型遗漏的关键特征;随后训练 FBC network(FBCN),利用这些特征校准旧表征。作者认为,补充有助于区分新旧类别的信息可增强表征的可迁移性,从而缓解表征偏移。BWKD 则依据类别频次将 softmax 层划分为若干块,并分别进行蒸馏,以应对新旧类别样本量失衡。具体损失形式、模块结构及两阶段训练细节尚未验证。 作者还将框架与 task-token expansion 方法结合,形成基于 vision transformer(ViT)的持续学习方法。作者报告,CNN 与 ViT 版本在多个持续学习基准上均取得有利结果;摘要未给出基准名称、记忆预算、任务划分、对照方法或指标数值,无法据此判断提升幅度。实验协议、消融及统计信息尚未验证,复现还需核对回放样本选择、类别频次分块规则与额外训练开销。 平台推测(待验证):其机制可能适用于具有离散类别、顺序到达数据及有限旧样本回放条件的 EEG 分类持续学习,但原文并非 EEG/BCI 验证。可复用的是旧表征校准和分块蒸馏思路,需改造 EEG 编码器及适配通道布局;低信噪比、被试差异和小样本可能使扩展模块学到非稳定特征。一个可证伪的小实验是在固定 EEG 类增量顺序、回放预算与骨干网络下,对照原 CKDF、仅 FBC、仅 BWKD 和完整 CKDF-V2,检验旧类性能保持是否改善,并记录新类性能与计算开销。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其特征校准与按类别频次分块蒸馏能否分别缓解小记忆持续学习中的表征偏移和类别不平衡,但摘要未提供量化结果,迁移至 EEG 的有效性尚未验证。

来源:OpenReview · Representation learning · openreview.net