跳到正文
OpenReview · State space models· Fei Zhu; Zhen Cheng; Xu-Yao Zhang; Cheng-Lin Liu·· 2023-01-01精选AI 评分72

模仿 oracle:面向类增量学习的校准模型

Imitating the oracle: Towards calibrated model for class incremental learning

AI 导读

基于摘要分析。本文研究类增量学习(class incremental learning,CIL)与联合训练(文中称为 oracle)的差异,提出 imitating the oracle(ItO),通过特征校准和权重校准改善增量学习中的遗忘问题。原研究对象是通用 CIL,而非 EEG 或 BCI;所给材料也不足以将其归为状态空间模型方法。 机制上,作者从特征空间与权重空间两个角度分析 CIL 与联合训练的差异:特征校准引入偏差补偿,以维持旧类别的决策边界;权重校准采用遗忘感知的权重扰动,以提升可迁移性并减少遗忘。摘要未提供偏差的估计方式、扰动的构造规则、损失函数或训练流程,因此不能据此判断两类校准的具体实现及计算成本。 作者报告,在其开展的实验中,ItO 能显著且一致地改善已有先进方法的性能。但材料未列出数据集、类别增量顺序、数据划分、对照方法和指标数值,无法核对改善幅度或跨协议稳定性;实验协议、消融及统计信息尚未验证。复现需进一步取得完整方法说明,并确认旧类数据的可用性、存储预算及 oracle 对照设置。 平台推测(待验证):若 EEG 分类系统需要逐步加入新的任务类别,旧类别边界变化与遗忘可能构成机制上的对应问题;这并不等同于跨被试或跨会话域偏移。假设可复用其双空间校准思路,但需适配 EEG 特征表示和类别增量协议。低信噪比、被试差异、通道变化及小样本可能使偏差估计不稳定,也可能使权重扰动损害原有判别能力。一个可检验的小实验是在固定被试、通道和测试集的 EEG 类别增量设置下,对比原增量基线、加入 ItO 的版本与联合训练参照,分别检查旧类保持和新类学习效果。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性的证据。

阅读价值

值得阅读其将类增量学习与联合训练的差异拆分为特征空间和权重空间校准问题的思路,但具体实现、性能增益及 EEG 迁移效果尚未验证。

来源:OpenReview · State space models · openreview.net