跳到正文
OpenReview · Representation learning· Alex Gomez-Villa; Dipam Goswami; Kai Wang; Andrew D. Bagdanov; Bartlomiej Twardowski; Joost van de Weijer·· 2024-01-01精选AI 评分76

通过可学习漂移补偿实现无样本回放的持续表征学习

Exemplar-free Continual Representation Learning via Learnable Drift Compensation

AI 导读

基于摘要分析。本文研究从较小首任务开始、骨干网络从头训练且不保存历史样本的类别增量学习,核心问题是持续更新表征后,旧类别原型与新特征空间发生错位。作者提出 Learnable Drift Compensation(LDC),通过学习漂移补偿缓解这一问题,并将其用于监督及半监督持续学习。 机制与贡献:作者对原型式持续学习的分析认为,所考察情形中的遗忘并非源于特征提取器判别能力下降,而可能通过修正语义漂移得到缓解。LDC 面向持续变化的骨干网络,作者称其可用于监督或无监督骨干,并易于叠加到已有持续学习方法。摘要未交代补偿映射的具体形式、训练目标、所需数据及旧原型的更新流程,这些尚待全文核对。作者还将 LDC 与自监督持续学习方法结合,并声称构成首个无样本回放的半监督持续学习方法;该优先性主张尚未独立核实。 结果与复现:作者报告,在多个数据集的监督和半监督设置下达到当时最优表现,但摘要未提供数据集名称、任务划分、标注比例、对照基线或具体指标,不能据此量化收益或跨协议比较。作者提供了代码链接;实现细节、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 类别增量系统采用持续更新的编码器与类别原型,LDC 的原型坐标补偿思路可能用于处理编码器更新造成的原型错位。可复用方向是补偿模块,需改造或核对 EEG 编码器接口、补偿训练的数据依赖及样本保存约束。EEG 的低信噪比、小样本及跨被试、跨会话变化可能同时改变类分布与判别结构,未必能由原型补偿解决。一个可证伪的小实验是在固定被试内类别增量协议、相同编码器和训练预算下,对比加入与不加入 LDC 的旧类性能及原型错位程度,并保持相同的无历史样本回放约束。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对的是作者将原型式持续学习的遗忘归因于表征更新后的原型错位,并提出可叠加于现有方法的 LDC;其补偿机制及对 EEG 持续学习的适用性尚需全文与实验验证。

来源:OpenReview · Representation learning · openreview.net