跳到正文
OpenReview · Representation learning· Jungwon Choi; Juho Lee·· 2025-09-20精选AI 评分72

SelfMask:面向模态缺失场景下多模态表征学习的跨模态自掩码方法

SelfMask: Cross-modal Self-Masking for Multimodal Representation Learning in Missing Modality Scenarios

AI 导读

基于摘要分析。SelfMask 针对采集成本、隐私限制或数据损坏导致的多模态数据不完整问题,通过自适应掩码表征学习补全缺失模态,并以跨模态一致性约束增强表征的语义可靠性。 方法的核心是从数据中学习信息性掩码,而非随机采样掩码。在训练阶段,框架预测缺失模态的表征;为避免依赖不可获得的缺失模态真值,作者引入跨模态一致性损失,要求预测表征既与语义内容对齐,又能支持对已观测模态的重建。摘要未给出语义对齐的具体监督来源、损失形式,以及训练和推理阶段的完整流程,这些细节尚未验证。 作者报告,在 MIMIC-IV 与 CMU-MOSEI 的多种模态缺失场景下,该方法改善了预测准确性和对模态缺失的稳健性;作者还报告,消融实验中的学习式掩码优于传统随机掩码。摘要未提供具体数值、指标定义、数据划分、缺失模式及比例,因此不能判断收益幅度,也不能直接比较不同缺失协议下的表现。实验协议、消融及统计信息尚未验证。 平台推测(待验证):其机制可能用于 EEG 与其他信号联合建模时的模态缺失问题,但依赖模态间具有可学习的对应关系,并有足够的共同观测数据支持训练。可复用的部分是学习式掩码与一致性目标,需要改造的是 EEG 编码器、跨模态对齐及重建目标。低信噪比、被试差异、通道配置变化和小数据可能使补全表征偏向其他模态,未必保留任务相关 EEG 信息。可先在具有配对模态的数据上固定跨被试划分和缺失协议,对比 SelfMask、随机掩码及仅使用可用模态的基线,检验学习式掩码是否改善下游任务表现。上述迁移尚非论文已验证结论,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其自适应掩码与跨模态一致性约束能否在缺失模态真值不可用时改善表征补全;摘要提供了随机掩码对照,但效果幅度及其对 EEG 多模态任务的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net