跳到正文
OpenReview · State space models· Da-Wei Zhou; Zi-Wen Cai; Han-Jia Ye; Lijun Zhang; De-Chuan Zhan·· 2025-12-31精选AI 评分74

基于预训练模型的域增量学习双重巩固方法

Dual Consolidation for Pre-Trained Model-Based Domain-Incremental Learning

AI 导读

基于摘要分析。本文研究基于预训练模型的 Domain-Incremental Learning(DIL,域增量学习):模型依次适应新域时,更新可能覆盖已有表征与分类器知识,造成灾难性遗忘。作者提出 DUal ConsolidaTion(Duct),在表征和分类器两个层面巩固历史知识,使模型能够兼顾已见域。 表征层面,Duct 合并不同学习阶段的骨干,逐步构建适用于多个域的表征空间。分类器层面,作者利用类别级语义信息,在最新嵌入空间中估计旧域的分类器权重,再合并历史与估计分类器,以缓解巩固后的嵌入与分类器之间的失配。其可核对的方法特点是:不仅保留历史表征,还显式处理表征变化后的分类决策对齐。骨干合并方式、语义信息来源、权重估计公式及训练和推理流程尚未验证。 作者报告 Duct 在四个基准数据集上达到最先进性能,但摘要未提供数据集名称、指标数值、域序列、数据划分和对照基线,尚不能判断优势幅度及适用条件。实验协议、消融及统计信息尚未验证。摘要提供了代码仓库,但实现与复现条件尚未核查;不能由仓库名称推断论文录用状态。 平台推测(待验证):若 EEG 场景具有一致任务和类别定义,并按被试或会话形成连续域序列,双重巩固可能对应跨被试、跨会话更新中的遗忘及表征—分类器失配。可复用的候选模块是历史骨干合并与分类器重对齐;需改造 EEG 输入编码,并明确类别语义信息如何获得。该假设依赖可合并的骨干、可对应的类别和适用的预训练表征,原领域有效不等于 BCI 有效。低信噪比、通道差异及小数据可能导致合并后表征退化或分类器估计不稳。一个可检验的小实验是在固定通道和类别的跨会话 EEG 序列中,对比顺序微调、仅骨干巩固与完整 Duct,分别评估新会话和历史会话的同一指标。已有 EEG 相关工作尚未检索确认。

阅读价值

Duct 将历史骨干合并与分类器重对齐结合,为分析域增量学习中表征遗忘和分类器失配提供了具体机制,但其性能优势及 EEG 适用性尚需验证。

来源:OpenReview · State space models · openreview.net