SG-MoE：面向跨模态表征学习与零样本检索的共享多粒度 MoE 及 MLLM 辅助语义路由学习

基于摘要分析。该研究面向训练与测试类别不相交的零样本跨模态检索，提出 SG-MoE，以双流多粒度建模、模态共享专家和 MLLM 辅助语义路由学习，处理粒度协同不足、内部跨模态对齐有限及专家路由语义模糊的问题。 机制上，双流 MoE 分别学习细粒度匹配与语义级表征；不同模态共享专家，以约束内部跨模态变换，同时保留模态专属路由器。语义路由学习使用离线由 MLLM 构建的本体，并在训练期间引入冻结编码器提供的监督。检索阶段仅使用训练后的 SG-MoE 路由器，语义输入固定为零，不调用外部 MLLM 或视觉—语言编码器，因此应区分训练阶段的辅助监督与部署阶段的依赖。 作者报告，在四个基准上，SG-MoE 优于任务专用基线；消融将主要检索收益归于双流建模和模态共享专家。路由分析支持概念与专家之间形成组织关系，但未支持语义路由带来显著 Avg mAP 增益。摘要未提供基准名称、具体模态、划分细节、基线配置及数值，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：共享专家与模态专属路由器的组合，可作为研究 EEG 与其他模态对齐的候选机制，但依赖可对齐的跨模态样本及适用的语义监督。若用于 EEG，需改造输入编码与语义对应方式；低信噪比、被试差异、通道变化和小数据可能使路由偏向非语义因素。一个可证伪的小实验是在固定跨被试划分和编码器条件下，对比共享与非共享专家，再单独加入语义路由监督，分别检验检索收益和概念—专家关联。原领域结果不构成 EEG/BCI 有效性证据，已有 EEG 相关工作尚未检索确认。