跳到正文
OpenReview · Representation learning· Jun Liu; Jiawei Zhan; Jinlong Peng; Xiaochen Chen; Bin-Bin Gao; Yong Liu; Wenjie Pei; Chengjie Wang·· 2024-09-19AI 评分71

DRL:面向类增量学习的判别性表征学习

DRL: DISCRIMINATIVE REPRESENTATION LEARNING FOR CLASS INCREMENTAL LEARNING

AI 导读

基于摘要分析。本文研究不使用历史样本回放的类增量学习(non-rehearsal CIL),针对模型复杂度持续增长、增量阶段间表征变化不平滑,以及阶段性子问题优化与全类别推理不一致三个问题,提出 Discriminative Representation Learning(DRL)。主要贡献是在预训练大模型上逐阶段学习轻量 adapter,并以 Margin-CE 增强表征的类别判别性。 机制上,DRL 在每个增量阶段增加轻量 adapter,使其适应当前新增类别;adapter 与当前模型采用并联连接,以继承并传递既有表征能力。作者认为这一设计能够使不同阶段之间的表征变化更平滑。摘要未说明预训练模型类型、参数冻结策略、adapter 具体结构,以及模块累积后的总参数量与推理开销,相关效率边界尚需核对。 Margin-CE 在分类边界之间施加硬间隔,旨在缩小仅针对当前阶段部分数据进行局部优化与面向全部类别进行全局推理之间的差距。其具体损失公式、间隔设置、分类器更新及推理规则尚未验证。作者报告,在六个 benchmark 的整个 CIL 过程中,DRL 持续优于所比较的先进方法,并保持较高训练与推理效率;摘要未提供 benchmark 名称、类别划分、评价指标或具体数值,实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设预训练表征能够覆盖 EEG 任务特征,这种“轻量增量适配+判别间隔”的机制可用于逐步增加类别的 EEG 解码,而不能直接视为跨被试或跨会话适应方案。可复用的是 adapter 增量更新与 Margin-CE 思路;需改造信号输入、预训练骨干及类别增量协议。低信噪比、小样本和被试差异可能使硬间隔过拟合,或让模型将分布变化误当作类别差异。一个可证伪的小实验是在固定被试内划分、无历史样本回放条件下逐阶段加入运动想象类别,对照仅使用 adapter、仅使用 Margin-CE 与二者结合,检查全类别 Accuracy、旧类性能变化及训练和推理开销。已有 EEG 相关工作尚未检索确认。

来源:OpenReview · Representation learning · openreview.net