缺失模态条件下的校准多模态表示学习

基于摘要分析。本文研究多模态表示学习中，样本模态不完整导致的对齐偏差，提出 CalMRL，通过表示级缺失模态补全校准对齐过程，使原本要求完整模态的学习方法能够利用不完整样本；主要研究对象是通用多模态表示学习，并非 EEG 或 BCI。 作者从 anchor shift（锚点偏移）角度解释问题：仅使用已观测模态进行对齐时，局部锚点会偏离完整模态条件下的最优锚点。CalMRL 利用先验与模态间的内在关联，在表示层面建模缺失模态的补全，并采用包含共享潜变量后验分布闭式解的双步学习方法处理优化问题。摘要未给出具体概率模型、损失形式及两步更新细节，不能据此将其等同于原始信号重建或某种特定优化算法。 作者报告提供了缓解锚点偏移及收敛性的理论支持，并通过实验展示 CalMRL 的优势；但摘要未列出数据集、缺失模态生成协议、对照方法或量化指标，实验协议、消融及统计信息尚未验证。作者提供了代码链接，其实现与复现条件尚未核验。 平台推测（待验证）：若 EEG 与其他模态具有可学习的共享信息，且训练数据中有足够的共同观测样本，该机制可能用于缓解模态缺失带来的表示对齐偏差。可考虑复用表示级校准与双步优化思路，但需适配 EEG 编码器、时间同步及缺失模式。低信噪比、跨被试差异、小样本或弱模态关联均可能使补全先验失准。可检验的初步实验是在固定被试划分与模型骨干下，对配对多模态数据施加可控缺失，比较加入校准前后的任务指标及对齐偏差；这不构成已验证的 EEG 效果，相关既有 EEG 工作尚未检索确认。