用于弱监督视频表征学习的双向校准网络

基于摘要分析。本文研究如何利用网络视频及其搜索查询、周边文本学习视频表征，针对查询多义性与文本同构性提出 Bi-Calibration Networks（BCN），通过查询与标题之间的双向校准修正弱监督信息。其主要研究对象是视频表征学习，而非 EEG 或 BCI。 机制上，BCN 对同一查询检索到的视频标题进行聚类，以各簇中心构建文本原型，并直接从查询词建立查询词表。视频到文本原型、视频到查询词表的投影分别参与文本到查询和查询到文本的校准，估计对查询或文本的修正；另有选择机制平衡两类修正。具体损失、聚类设置、修正形式与选择规则尚未验证。 作者新收集了 YOVO-3M 和 YOVO-10M，每条视频配有查询与标题。作者报告，在 3M 网络视频上学习的 BCN 特征，在下游任务的线性模型评估协议下取得较优结果，摘要未给出对应分数。作者还报告，使用 10M 网络视频训练并进一步微调后，在 Kinetics-400 与 Something-Something V2 上，相对采用 ImageNet 预训练的 TDN 与 ACTION-Net，top-1 Accuracy 分别提升 1.6% 和 1.8%；摘要未明确这些百分比是相对增幅还是百分点差。两种训练与评估协议不能直接混比。 作者声明代码与数据集已公开。复现需核对数据可获取性、训练与下游划分、预训练及微调条件，并检查双向校准相对单向校准、无校准对照的贡献；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 数据同时关联检索词与刺激视频标题，可假设将双向校准用于整理两类带噪语义监督；可复用文本原型与校准思想，但需替换视频编码器并处理 EEG 时间对齐。该假设依赖成对语义元数据及足够样本，低信噪比、跨被试差异和小数据可能使错误监督相互强化。可在固定跨被试划分下，对比单一文本监督、双文本监督与双向校准，并控制文本噪声比例检验其收益。此类 EEG 相关工作尚未检索确认。