面向跨模态检索的深度多模态迁移学习

该研究针对跨模态检索依赖大量标注数据的问题，提出深度多模态迁移学习方法 DMTL，将已标注类别中的知识迁移到未标注的新类别，以改善新类别上的跨模态检索。基于摘要分析，其主要研究对象是文本、图像等多媒体模态，而非 EEG 或 BCI。 方法采用联合学习，为目标域样本分配伪标签，并在训练中迭代更新，以自监督方式参与学习。同时，利用多个模态专属神经网络学习共享语义空间，通过拉近同一实例的样本表征、分散不同实例的样本表征，缩小不同模态之间的差异。摘要未给出具体损失形式、伪标签初始化与更新规则，相关实现尚未验证。 与通常假设源域、目标域具有相同标签集的迁移学习设置不同，DMTL 考虑两域标签集不同甚至不相交的情形。作者报告，在四个常用基准上的实验支持其多模态迁移有效性，且跨模态检索表现优于所比较的 11 种方法；但摘要未提供基准名称、划分、检索指标及具体数值，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若具备成对的 EEG—图像或 EEG—文本数据，并有源类别标注和未标注目标类别，可假设将“模态专属编码器＋共享语义空间＋迭代伪标签”用于新类别跨模态检索。需改造 EEG 编码器，并核对实例对应关系与伪标签生成机制；低信噪比、跨被试差异、通道变化和小样本可能使伪标签错误累积。一个可检验的小实验是在固定被试及数据划分、源目标类别不相交的条件下，对比启用与停用迭代伪标签的同一模型，以一致的检索指标检验增益。该假设不代表已证实的 BCI 效果，已有 EEG 相关工作尚未检索确认。