跳到正文
OpenReview · Representation learning· Nanxuan Zhao; Jianbo Jiao; Weidi Xie; Dahua Lin·· 2023-01-01精选AI 评分74

Cali-NCE:通过校准对齐增强跨模态视频表征学习

Cali-NCE: Boosting Cross-modal Video Representation Learning with Calibrated Alignment

AI 导读

基于摘要分析。本文研究互联网视频与文本描述语义对齐不可靠时的跨模态表征学习,提出 Cali-NCE,通过估计视频—文本对应置信度并校准对比训练中的样本权重,减轻配对不准确对表征学习的影响。主要研究对象是视频—文本数据,并非 EEG 或 BCI。 机制方面,作者重新考察 correspondence modeling、contrastive learning 与 predictive coding,报告将这些策略简单协同训练即可改善性能;进一步提出联合训练框架,将总目标分解为条件目标,并利用对应置信度调整对比训练权重。摘要未给出置信度估计方式、条件目标的具体形式,以及权重如何进入损失,因此尚不能判断其与简单协同训练各自的贡献。 作者报告,该方法在 text-to-video retrieval、video action recognition 和 video retrieval 多项下游任务上达到当时最优表现;但摘要未提供数据集、划分、对照基线或指标数值,不能据此量化增益或比较不同评估协议。实验协议、消融及统计信息尚未验证,训练规模与复现条件也需查阅全文。 平台推测(待验证):若 EEG—文本或 EEG—刺激配对存在语义对应强弱差异,置信度加权可能用于降低弱配对样本的干扰;其依赖可学习的跨模态对应关系及足够的配对数据。可复用的是配对置信度校准思路,需改造信号编码器与置信度估计模块。低信噪比、跨被试差异、通道变化和小数据可能使置信度偏向易学被试或刺激,而非真实对应质量。一个可检验的小实验是在固定跨被试划分下,注入可控比例的错配,比较同一编码器的普通对比训练与置信度加权训练,并核对置信度能否识别错配。此设想不代表已证实的 EEG 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以视频—文本对应置信度校准对比样本权重的机制,但其相对简单协同训练的增益及对 EEG 跨模态学习的适用性尚需验证。

来源:OpenReview · Representation learning · openreview.net