跳到正文
OpenReview · Representation learning· Zhikun Feng; Mian Zhou; Zan Gao; Angelos Stefanidis; Zezhou Sui·· 2024-01-01精选AI 评分71

SCREAM:面向类别增量学习的知识共享与紧凑表示

SCREAM: Knowledge sharing and compact representation for class incremental learning

AI 导读

基于摘要分析。本文研究图像类别增量学习(CIL)中的灾难性遗忘,针对动态结构方法中子网络相互隔离、整体信息整合不足的问题,提出两阶段方法 SCREAM,在网络扩展时促进知识共享,并在压缩时保留紧凑表示。 方法包括 Expandable Network(EN)学习阶段与 Compact Representation(CR)阶段。EN 使用聚类损失聚合相关实例、促进信息共享,并以动态权重对齐缓解分类器偏向新类别的问题;CR 使用平衡解耦蒸馏,旨在减轻多次压缩过程中长尾效应的影响。摘要未给出损失公式、扩展与压缩的触发规则,以及各模块的独立贡献。 作者报告,在不同 replay-buffer 容量下与现有方法比较,并在摘要列出的 CIFAR-100、ImageNet-100/1000 和 Tiny-ImageNet 上获得平均准确率优势。原文将结果分为三组,分别写为超过 2.46%、1.22% 和 1.52%,但数据集分组、比较基线及这些数值代表相对百分比还是百分点均不明确,因此不能据此作严格的定量比较。作者另报告,较小缓冲区条件下平均准确率优势超过 4.60%,并称资源需求表现良好;具体缓冲区大小、资源指标、类别顺序、任务划分、消融及统计信息尚未验证。 平台推测(待验证):该机制可能对应 EEG 分类系统逐步加入新类别时的遗忘与存储约束,但原研究对象是图像分类,并非 EEG 或 BCI。可考虑复用扩展—压缩流程和偏置校正思路,需改造 EEG 编码器,并明确类别增量是否与被试或会话变化同时发生;低信噪比、小样本及通道差异可能使聚类关系不稳定,进一步放大蒸馏误差。一个可检验的小实验是在固定被试与通道配置下构造 EEG 类别增量序列,保持相同回放容量和类别顺序,对比完整方法与移除知识共享或平衡蒸馏的版本,检查平均 Accuracy、旧类别遗忘及资源开销。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 SCREAM 如何协调动态扩展网络中的知识共享、分类器偏置校正与多次压缩,但摘要中的数据集分组和准确率增益表述存在歧义,具体优势需结合全文协议确认。

来源:OpenReview · Representation learning · openreview.net