CKDF-V2:有效缓解小记忆持续学习中的表征偏移
CKDF-V2: Effectively Alleviating Representation Shift for Continual Learning With Small Memory
基于摘要分析。本文研究持续学习(CL)中,新旧数据分布差异引发的表征偏移与灾难性遗忘,以及旧类样本存储受限造成的类别不平衡。作者提出特征增强校准(FBC)和分块知识蒸馏(BWKD),构建两阶段训练框架 CKDF-V2,作为 cascaded knowledge distillation framework(CKDF)的增强版本;主要研究对象是基于 CNN 和 vision transformer(ViT)的持续学习,而非 EEG 或 BCI。 FBC 首先训练扩展模块学习全部新旧类别,以发现旧模型遗漏的关键特征,再训练 FBC network(FBCN),利用这些特征校准旧表征。作者认为,补充的新旧类别判别信息能够提升校准表征的可迁移性,从而缓解表征偏移。BWKD 则按类别频次将 softmax 层划分为若干块,并分别进行知识蒸馏,以应对有限旧类记忆与新类数据之间的不平衡。摘要未给出具体损失形式、两阶段训练细节及分块规则。 作者还将该框架与 task-token expansion 方法结合,形成 ViT 版本。作者报告,CNN 与 ViT 版本在多个 CL 基准上均取得良好结果,但摘要未列出基准名称、记忆预算、任务序列、对照方法或指标数值,不能据此判断提升幅度。实验协议、消融及统计信息尚未验证;复现还需核对旧类样本选择方式、扩展模块训练与推理开销。 平台推测(待验证):若 EEG 场景涉及类别逐步增加,且可保留少量旧类标注样本,FBC 与 BWKD 可能分别对应表征漂移和新旧类别样本不平衡。可尝试复用校准与分块蒸馏机制,但需改造适配 EEG 的特征提取器,并核对新增类别与原任务的对应关系;跨会话漂移本身不等同于类别增量。低信噪比、被试差异、通道变化及小样本可能使扩展模块学到不稳定特征。一个可检验的小实验是在固定被试与通道的 EEG 类别增量协议下,统一旧类记忆预算,对比基础蒸馏、加入 FBC、加入 BWKD 及二者结合,分别评估旧类遗忘和新类性能。相关 EEG 工作尚未检索确认。
值得核对其特征校准与按类别频次分块蒸馏能否分别缓解小记忆持续学习中的表征偏移和类别不平衡,但摘要未提供量化结果,EEG 适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net