Expand and Merge:固定文本嵌入空间引导的持续学习
Expand and Merge: Continual Learning with the Guidance of Fixed Text Embedding Space
基于摘要分析。本文研究预训练视觉编码器在顺序学习新数据时的灾难性遗忘,提出在冻结编码器中扩展并合并 adapter 参数,同时利用固定的预训练文本嵌入空间引导持续学习。主要研究对象是视觉持续学习,并非 EEG 或 BCI。 机制上,新增参数被封装在专门设计的 adapter 层中,各层还引入 adapter 缩放权重,以自适应控制新旧知识的融合。固定文本编码器的嵌入空间为视觉编码器学习提供引导;但摘要未说明具体损失、文本构造、参数扩展与合并时机,也无法确认其所需标签、预训练规模及推理流程。 作者报告,该方法在三个数据集上的实验优于所比较的现有方法。摘要未给出数据集名称、任务划分、基线、指标或具体数值,因此尚不能判断改善幅度及适用边界。实验协议、消融及统计信息尚未验证。摘要提供了代码仓库,但实现与复现条件尚未核验。 平台推测(待验证):若 EEG 任务的类别能够由稳定且可区分的文本语义表示,可假设将冻结编码器与可扩展 adapter 用于跨会话增量学习,以减少更新对旧知识的干扰。可借鉴的是参数隔离与自适应融合思路;需改造 EEG 编码器、信号与文本的对齐方式,并验证任务语义是否足以约束生理信号表征。低信噪比、跨被试差异、通道变化和小数据可能使固定语义空间无法有效引导学习。一个可证伪的小实验是在固定被试与通道配置下按会话顺序训练,对照 adapter 更新与加入固定文本引导的方案,在相同历史数据访问条件下测量新旧会话性能及遗忘程度。已有 EEG 相关工作尚未检索确认。
值得核对其冻结视觉编码器、扩展与合并 adapter 参数以及固定文本嵌入引导如何共同缓解灾难性遗忘,但摘要不足以验证各机制的独立贡献及其向 EEG 持续学习迁移的有效性。
来源:OpenReview · State space models · openreview.net