MARS：面向可扩展跨媒体检索的模态无关表征学习

基于摘要分析。本文研究跨媒体检索（CMR）中新模态接入需要重新训练既有模态的问题，提出 MARS，以标签语义表征连接不同模态，使各模态能够独立训练。主要研究对象是多模态数据的语义对齐与检索，并非 EEG 解码或 BCI。 机制上，MARS 将标签信息视作独立模态，由标签解析模块 LabNet 生成语义表征；各模态对应的 DataNet 提取模态共享表征和模态专属表征，并配合摘要所称的无偏语义分类。首个模态训练时，联合优化 LabNet 与对应 DataNet，保持标签派生表征与模态共享表征之间的语义相似性。接入新模态时，使用已训练的 LabNet 提供标签表征，指导新 DataNet 按相同目标训练；各模态表征模块采用同一分类器，以加强语义对齐。具体损失形式、分类器共享方式及无偏分类的实现尚未验证。 作者报告，在若干多模态基准数据集上的跨媒体检索实验中，MARS 优于既有方法；摘要未给出数据集名称、划分、检索指标、具体数值与对照配置，因此无法量化其收益。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其标签语义锚点机制可能用于探索 EEG 与图像、文本等模态的增量对齐，针对新增 EEG 模态时避免重训既有模态编码器这一需求。该假设依赖各模态具有一致且有意义的标签语义及足够监督；可借鉴 LabNet 与共享分类器思路，但需改造 EEG DataNet 和输入处理。EEG 低信噪比、跨被试差异、通道配置变化及小样本可能使标签对齐只保留粗粒度类别，而丢失检索所需的细节。可用具有共同刺激标签的数据固定已有语义模块，仅训练 EEG 模块，在相同跨被试划分下，与联合重训及不使用标签锚点的方案比较检索表现和训练成本。已有 EEG 相关工作尚未检索确认。