跳到正文
OpenReview · Representation learning· Keming Mao; Yong Luo; Yitao Ren; Ruixiang Wang·· 2023-01-01精选AI 评分71

增量学习中的原型表征扩展

Prototype Representation Expansion in Incremental Learning

AI 导读

基于摘要分析。本文研究旧数据通常不可访问时深度神经网络的灾难性遗忘问题,提出非样本回放式增量学习方法 Prototype Representation Expansion(PRE),通过构造、筛选和扩增特征原型,在增量训练中保留旧任务的特征空间与决策边界。原研究对象是图像增量学习,并非 EEG 或 BCI。 机制上,PRE 使用各类别特征嵌入的均值作为原型以维持稳定性;同时注入特征扰动噪声,根据分类器响应筛选原型,以支持决策边界的保持。随后,将不同类别的原型线性组合,构造带混合标签的混合原型,并结合原型增强用于增量训练。摘要未给出具体损失、扰动分布、筛选准则或混合权重,相关实现细节尚未验证。非样本回放也不等于不存储任何信息,原型的存储开销及隐私性质仍需核对。 作者报告,在 CIFAR-100 和 ImageNet-Subset 的增量学习实验中,PRE 可与部分非样本回放方法结合,提升其性能,并达到与样本回放方法相当的表现。摘要未提供具体分数、任务序列、类别划分、对照方法和存储预算,实验协议、消融及统计信息尚未验证,因此不能据此判断提升幅度或不同方法的资源公平性。 平台推测(待验证):若 EEG 增量分类能够形成具有类别意义的特征空间,原型保留机制可能用于缓解新增任务对旧类别的遗忘。该假设依赖已有类别监督和可用的特征提取器;可复用的是类均值原型、扰动筛选与混合原型机制,需改造 EEG 编码及扰动方式。低信噪比、跨被试或跨会话漂移可能使旧原型失效,类间线性混合也未必对应有效 EEG 表征。可在固定 EEG 数据划分和类别增量顺序、相同原型存储预算下,对比基础方法与加入 PRE 后的旧类保留和新类学习表现,并逐项检验筛选及混合操作的作用。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 PRE 如何以类均值、扰动原型筛选及混合原型维持旧任务特征空间,但其性能结论和向 EEG 增量学习迁移的有效性仍需分别验证。

来源:OpenReview · Representation learning · openreview.net