M3CoL：通过多模态 Mixup 对比学习利用共享关系进行多模态分类

基于摘要分析。该研究面向多模态分类，试图突破传统跨模态对比学习主要建模显式一对一关联的限制，提出 M3CoL，以 Mixup 对比学习捕捉多模态数据中的共享关系。其主要贡献是将一种模态的混合样本与其他模态的对应样本对齐，并结合融合模块与单模态预测模块进行训练。 机制上，Mixup-based contrastive loss 用于学习共享关系表征，单模态预测模块提供辅助监督，融合模块服务于多模态分类。摘要未给出混合权重、对应样本的构造方式、正负样本定义及各训练目标的权重，因此尚不能判断该对齐机制如何处理类别边界与跨模态语义不一致。 作者报告，在 N24News、ROSMAP、BRCA 和 Food-101 上开展了实验，其中前三个数据集上的表现优于所比较的先进方法，在 Food-101 上取得相当表现。摘要没有提供具体指标、数值、划分及对照方法；其“跨领域泛化”表述也不足以确认采用了 Cross-dataset 或域泛化协议。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 与其他模态具有可靠的样本对应关系和分类监督，该机制可能用于检验混合样本能否改善跨模态表征学习，但原领域结果不等于 BCI 有效性。可复用部分是 Mixup 对比目标与单模态辅助监督，需改造模态编码器并明确时间对齐及混合规则。低信噪比、通道差异、跨被试差异与小样本可能使混合样本偏离有效信号分布。一个可证伪的小实验是在固定跨被试划分下，比较相同融合框架使用普通配对对比损失与 Mixup 对比损失的表现，并控制辅助监督保持一致。已有 EEG 相关工作尚未检索确认。