重新审视视觉—语言表征学习中的多模态对齐与错配

基于摘要分析。本文研究视觉—语言模型过度依赖图文对齐时，对预训练配对不准确及模态互补信息利用不足的问题。作者系统评估 CoMM，并提出 CoMM-VL，在 CoMM 的多模态目标上加入同一融合表示空间中的显式图文对齐损失，以兼顾错配鲁棒性与跨模态任务性能。 机制与对照：研究围绕图文配对质量和预训练规模考察 CoMM。作者报告，相比 CLIP 等基于对齐的目标，CoMM 对预训练图文错配更鲁棒，也能学习较强的视觉和多模态表征；但在较大预训练规模下，其标准跨模态任务表现落后于 CLIP，体现出错配鲁棒性与高效学习显式图文对齐之间的权衡。CoMM-VL 的关键改动是将多模态交互与显式对齐结合，而非将两者视为替代关系。摘要未给出损失公式、权重配置及融合结构。 结果与证据边界：作者报告，在小规模和大规模视觉—语言数据集上，CoMM-VL 相比 CoMM 改善了零样本分类与图文检索，并优于包括 CLIP、SigLIP 和 TIPS 在内的对齐式 VLM，同时保留对错配数据的鲁棒性及较强的多模态表征。摘要未提供数据集名称、规模、错配构造方式、指标数值或基线训练配置，实验协议、消融及统计信息尚未验证。代码和预训练权重为计划开源，不能据此认定已可获取。 平台推测（待验证）：该机制可启发配对不精确且包含模态互补信息的 EEG—文本或 EEG—视觉表征学习，但原文研究对象是图文数据，并未验证 EEG/BCI 效果。可复用的是“多模态交互目标加显式对齐约束”的设计，需改造 EEG 编码器、时间窗配对与融合模块；其依赖成对多模态数据，低信噪比、跨被试差异、通道变化及小数据可能使对齐约束强化噪声。一个可检验的假设是：在固定跨被试划分、编码器与训练预算下，逐级增加训练配对错配，对比仅对齐、多模态目标及联合目标的检索表现与退化幅度。已有 EEG 相关工作尚未检索确认。