缺失模态条件下的校准多模态表示学习

基于摘要分析。本文研究多模态表示学习在部分模态缺失时如何维持有效对齐，提出 CalMRL，在表示层建模缺失模态的补全并校准不完整对齐，使原本要求完整模态的学习方法能够利用缺失模态数据。 核心机制：作者从 anchor shift（锚点偏移）解释问题：可观测模态对齐到局部锚点，而该锚点偏离全部模态均存在时的最优锚点。CalMRL 利用先验及模态间的内在联系建模缺失表示，并采用双步学习方法，结合共享潜变量后验分布的闭式解处理优化问题。摘要未提供具体先验、概率分布、损失形式或双步更新细节，不能据此确定实现结构。 证据与复现：作者报告，理论分析支持锚点偏移缓解及收敛性，实验与综合分析显示 CalMRL 的优势；摘要未列明数据集、缺失机制、划分、对照方法或指标数值，实验协议、消融及统计信息尚未验证。作者表示代码、模型检查点和评估原始数据将公开，当前是否已发布尚未确认。 平台推测（待验证）：迁移假设是，若 EEG 与其他信号存在同实例配对关系，且模态间关联足以支持共享潜表示推断，CalMRL 或可用于部分模态缺失时的联合表示学习，而非直接视为 EEG 通道缺失修复方法。可复用部分是表示层补全与校准对齐；需要改造各模态编码器、时间对齐及先验设定。EEG 低信噪比、跨被试分布变化、小样本及非随机缺失可能使补全偏差累积。一个可检验的小实验是在配对多模态数据上固定跨被试划分，仅用训练集拟合补全模块，比较相同编码器下未校准对齐与 CalMRL 在预设缺失条件下的下游表现，并保留完整模态参照。已有 EEG 相关工作尚未检索确认。