基于解耦表征转换的增量嵌入学习
Incremental Embedding Learning With Disentangled Representation Translation
基于摘要分析。本文研究嵌入网络在顺序学习不同任务时的灾难性遗忘,重点处理新任务学习破坏旧任务潜在特征与原型之间关系的问题。作者提出 disentangled representation translation(DRT),旨在不复用旧任务样本的条件下获得具有判别性的类别解耦特征,并避免任务相关信息受到扰动。 机制上,DRT 引入 mask-guided 模块,自适应地修改或保留潜在特征中的有用信息,以在解耦转换过程中保存兼具判别性与代表性的特征。摘要还指出,DRT 可结合增量学习正则项进一步改善性能,但未提供具体损失形式、原型更新方式、掩码构造或训练流程,相关实现尚未验证。 作者报告,在四个数据集上的实验表明该方法能够缓解嵌入网络的灾难性遗忘。摘要未列出数据集名称、任务划分、对照方法及定量指标,因此不能据此判断收益幅度或不同增量协议下的稳定性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务采用嵌入特征与类别原型进行判别,且需连续接纳新任务而无法保存旧数据,DRT 的特征转换与信息保留机制可能对应表征漂移问题。可复用的候选是转换与掩码机制,EEG 编码器、原型定义及增量任务协议则需适配。摘要未说明其监督条件与数据规模要求;低信噪比、被试差异、通道变化和小样本可能使掩码保留噪声或使原型估计不稳定。一个可检验的小实验是在固定 EEG 编码器、同一被试内顺序引入类别且不回放旧样本的协议下,对比基础增量训练与加入 DRT 的旧类性能及原型关系变化。已有 EEG 相关工作尚未检索确认。
值得关注其在不复用旧任务样本的条件下维护潜在特征与旧类原型关系的机制,但具体性能、实验协议及向 EEG 持续学习迁移的有效性尚未验证。
来源:OpenReview · Representation learning · openreview.net