M3CoL:通过多模态 Mixup 对比学习利用共享关系进行多模态分类
M3CoL: Harnessing Shared Relations via Multimodal Mixup Contrastive Learning for Multimodal Classification
基于摘要分析。该研究面向多模态分类,试图突破跨模态对比学习对显式一对一关系的依赖,通过 M3CoL 学习多个样本与模态之间更丰富的共享关系。核心贡献是基于 Mixup 的对比损失,并将其与融合模块、提供训练期辅助监督的单模态预测模块结合。 机制上,作者将某一模态中的混合样本与其他模态中相应的样本对齐,以学习共享关系,而不只处理简单的成对关联。摘要未说明混合权重、对应样本的具体定义、正负样本构造、损失公式及各训练目标的权重,这些细节需通过全文核对。 作者报告,在 N24News、ROSMAP、BRCA 和 Food-101 上进行了多模态分类实验;相较所比较的方法,M3CoL 在前三个数据集上表现更优,在 Food-101 上表现相当。摘要未给出具体指标、数值、数据划分或基线配置。这里的跨领域表现是作者对多个数据集结果的概括,不能等同于经过统一 Cross-dataset 协议验证的域泛化能力。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若具备配对的 EEG 与其他模态数据及分类标签,该机制可能用于检验一对一对齐之外的共享信息是否有助于融合。可复用的是 Mixup 对比目标和单模态辅助监督思路;模态编码器、时间对齐与混合策略需要改造。假设是混合操作能保留任务相关的跨模态对应关系,但 EEG 低信噪比、跨被试差异、通道配置变化及小数据条件可能破坏这一前提。一个可证伪的小实验是在固定 Cross-subject 划分、相同编码器与训练预算下,对比常规成对对比学习和 M3CoL 式目标,并分别移除 Mixup 与单模态辅助监督,以检查增益来源。已有 EEG 相关工作尚未检索确认。
值得核对其 Mixup 对比损失如何定义跨模态共享关系,以及单模态辅助监督的独立贡献;摘要提供了明确的方法路径,但尚不能据此确认其对 EEG 多模态融合的有效性。
来源:OpenReview · Representation learning · openreview.net