通过多模态统一表征实现开放集跨模态泛化

基于摘要分析。本文研究多模态统一表征在开放集条件下的跨模态泛化，提出 Open-set Cross Modal Generalization（OSCMG）任务及 MICU 方法。与闭集 Cross Modal Generalization（CMG）相比，OSCMG 不仅要求跨模态知识迁移，还要求模型泛化到新模态中的未见类别。 MICU 包含两个组件。Fine-Coarse Masked multimodal InfoNCE（FCMI）在整体语义和时间两个层面开展对比学习，并引入掩码以增强泛化；Cross modal Unified Jigsaw Puzzles（CUJP）结合模态无关的特征选择与自监督学习，旨在增强特征多样性及模型不确定性，从而改善未知类别处理。摘要未说明具体模态、编码器、掩码策略、拼图构造方式及开放集判定规则，这些实现细节尚未验证。 作者报告，CMG 与新提出的 OSCMG 实验支持该方法的有效性，但摘要未提供数据集、类别与模态划分、对照基线或具体指标，因此无法量化收益，也不能判断不同组件的独立贡献。实验协议、消融及统计信息尚未验证。摘要提供了代码仓库链接，但代码完整性与复现条件尚未核验。 平台推测（待验证）：若 EEG 与其他模态具有可对齐的语义和时间结构，FCMI 的分层对齐及掩码机制可能为跨模态表征学习提供参考，CUJP 则可能用于研究未知类别下的表征稳健性；这不等于已验证的 BCI 效果。迁移需核对原方法依赖的配对数据、监督方式和训练规模，并改造 EEG 编码器、时间对齐及未知类判定模块。低信噪比、被试差异、通道变化和小数据可能破坏对齐，或使掩码删除关键神经信息。一个可检验的小实验是在具备时间同步 EEG 与另一模态的数据上，固定模态及已知／未知类别划分，比较基础对齐方法与分别加入 FCMI、CUJP 的表现，同时评估已知类识别与未知类检测。已有 EEG 相关工作尚未检索确认。