SAVE：面向视频-文本检索的语音感知视频表征学习

基于摘要分析。本文研究视频-文本检索中声音轨道利用不足的问题，提出 SAVE（Speech Aware Video rEpresentation learning），通过专门的语音分支和早期视听对齐改善视频表征。其主要研究对象是视听视频与文本的跨模态检索，而非 EEG 或 BCI。 作者指出，以 CLIP 图像和文本编码器为基础的常见范式忽略了视频声音；已有引入音频编码器并融合视听特征的方法，仍面临语音内容表征不充分和视听融合不理想的问题。SAVE 在 AVIGATE 基础上增加专门的语音分支，并引入 soft-ALBEF 进行早期视听对齐，以促进融合。摘要未披露语音分支的输入形式、监督来源、soft-ALBEF 的具体机制及训练损失，尚不能据此还原实现。 作者报告，在五个视频-文本检索基准上，以 AVIGATE 为对照、采用 SumR 指标，SAVE 在 MSRVTT-1k、MSRVTT-3k、VATEX、Charades 和 LSMDC 上的提升分别为原文所述的 +4.1%、+1.9%、+2.5%、+9.8% 和 +2.1%。摘要未说明这些百分比是相对增幅还是分值差，也未提供完整划分及检索方向，故不宜改写为百分点或直接跨基准比较。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可供 EEG 多模态研究考察的机制，是先对互补模态进行专门表征和对齐，再实施融合；假设这一机制能够缓解 EEG 与同步视听刺激之间的语义错配，需要具备同步配对数据，并改造 EEG 编码及跨模态对齐模块。EEG 的低信噪比、跨被试差异和小样本条件可能使对齐依赖刺激捷径而非可泛化神经信息。一个小规模可证伪实验是，在固定跨被试划分和相同数据预算下，对比晚期融合与加入早期对齐的方案，并设置时间错配对照；这不是本文已验证的结果，相关 EEG 工作尚未检索确认。