跳到正文
arXiv · 在线与高效推理· Kanishk Bakshi; Amitansu Pattanaik; Kathiravan Srinivasan·· 2 天前AI 评分66

学习而不覆盖:面向持续学习的结构化知识融合

Learning without Overwriting: Structural Knowledge Fusion for Continual Learning

AI 导读

基于摘要分析。本文研究图像分类中的类增量学习,提出 Knowledge Fusion Network(KFN),通过新颖性门控的结构扩展缓解灾难性遗忘,而非仅在固定共享参数容量内协调新旧任务。核心贡献是将新任务获取与知识整合解耦,再按任务新颖性分配专用通道容量。 机制上,每个新任务先由独立的轻量 specialist network 学习,摘要给出的单个网络规模为 2.8M 参数;随后通过 Structural Fusion Module 融入全局模型。作者结合通道空间分离与分阶段梯度解冻保护已整合知识。新颖性分数的定义、通道分配规则、具体训练目标与推理时任务信息需求尚未验证。 作者报告,在十任务 Split CIFAR-100 协议下,KFN 的最低任务 Accuracy 为 11.94%,第十任务 Accuracy 为 71.16%;遗忘指标为 57.92%,比 Replay 低约 15.5 个百分点。这里最低任务 Accuracy、第十任务 Accuracy 和遗忘指标并非同一量,不能混作整体分类效果。作者另报告,CIFAR-100 与 EuroSAT 上的类增量保留指标分别为 72.7% 和 42.5%,对应最佳基线为 29.6% 和 0.94%;该保留指标的定义及具体评估划分需查正文。 资源方面,作者报告每步增加相当于基础模型参数量 25% 的容量;十任务下总参数量为 28.1M,对照朴素主干复制方案的 112.0M,约为其 25.1%;相对完整重训练,峰值 GPU 显存降低 37.1%。这些比较采用不同资源参照,尚不能据此认定 KFN 在固定容量或等计算预算下更优。实验协议、基线配置、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 类增量任务具有可稳定估计的新颖性,该结构隔离机制可能帮助减少新增类别对旧表征的干扰;可复用模块是独立任务学习与结构融合,需改造 EEG 编码器和新颖性估计。低信噪比、跨被试或跨会话漂移可能被误判为新知识,导致无效扩容,小数据也可能使 specialist 过拟合。可在固定被试与会话的 EEG 类增量设置中,对比新颖性门控扩容和等参数预算的固定扩容,联合测量旧类保留、新类 Accuracy 与容量增长。已有 EEG 相关工作尚未检索确认。

来源:arXiv · 在线与高效推理 · arxiv.org