通过跨模态适配器及结合知识保持的表征对齐实现多模态持续学习

基于摘要分析。本文研究多模态持续学习：模型在连续接收新任务时，既要整合不同模态的信息，也要避免遗忘既有知识。作者提出基于预训练模型的框架，将跨模态适配器、表征对齐和知识保持约束结合起来；主要研究对象是通用多模态任务，而非已验证的 EEG/BCI 应用。 机制上，跨模态适配器采用 mixture-of-experts 结构，用于促进跨任务的多模态信息整合；表征对齐损失用于学习稳健的多模态表征；对已学习表征之间关系的正则化用于保留旧任务知识。摘要未说明预训练模型、模态组合、专家路由方式、损失具体形式，以及是否依赖旧样本回放或教师模型，这些实现条件尚未验证。 作者报告，在若干多模态数据集的类别增量与域增量学习评估中，该方法相较基线获得更高准确率并减少遗忘。摘要未提供数据集名称、任务序列、划分、基线和具体数值，因此不能量化收益或比较不同协议；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 应用具有配对的其他模态及明确的连续任务结构，跨模态适配和表征关系保持可能用于检验新任务适应与旧任务保持之间的权衡。可复用候选是适配器和关系约束，需改造模态编码器、时间对齐及通道输入处理；EEG 低信噪比、跨被试差异、通道变化和小数据可能使路由不稳定，或使对齐约束保留无关特征。一个可检验的小实验是在固定的配对多模态 EEG 跨会话序列上，以相同骨干和数据访问条件，比较完整框架、移除关系约束及仅顺序微调三种设置，分别评估新旧任务 Accuracy 与遗忘变化。已有 EEG 相关工作尚未检索确认。