跳到正文
OpenReview · Representation learning· Heng Zhang; Daqing Liu; Qi Zheng; Bing Su·· 2023-01-01精选AI 评分77

将视频建模为随机过程以学习细粒度视频表征

Modeling Video as Stochastic Processes for Fine-Grained Video Representation Learning

AI 导读

基于摘要分析。该研究面向细粒度视频表征学习,针对逐帧对齐或多视图关联方法难以显式刻画视频内部动态的问题,提出 Video as Stochastic Processes(VSP),通过过程级对比学习同时区分视频过程并捕捉其时间动态。 核心机制是在潜在空间中,使目标帧序列的嵌入逼近具有目标导向的随机过程 Brownian bridge(布朗桥),并以过程级对比损失施加约束。为构造 Brownian bridge,作者针对不同标注条件设计采样策略,覆盖自监督与弱监督学习。摘要未提供损失的具体形式、采样规则、编码器结构或训练规模,相关实现细节尚未验证。 作者报告,在四个数据集上,VSP 在 phase progression、phase classification 和 frame retrieval 等视频理解任务中达到当时最优水平;摘要未给出数据集名称、划分、对照方法及具体指标,因此不能据此判断增益大小或跨任务稳定性。材料提供了代码地址,但代码内容、实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移假设是,部分 EEG 任务存在可对齐的阶段性演化,可借用过程级对比目标约束时间窗嵌入,而非仅比较孤立片段。原方法依赖有序视频序列及适配标注条件的采样;用于 EEG 时需要改造输入编码器、时间尺度及端点选择。低信噪比、跨被试与通道差异,以及小数据下过程采样不足,都可能削弱效果;EEG 状态若存在跳变或无明确终点,Brownian bridge 假设也可能不成立。一个可证伪的小实验是在已有阶段标注的 EEG 数据上,固定编码器、训练预算及跨被试划分,对比加入过程约束与仅使用片段级对比学习的阶段分类表现,并检查时间顺序打乱后差异是否消失。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其将帧序列约束为 Brownian bridge 的过程级对比学习机制,以及不同标注条件下的采样策略;其对 EEG 时间表征的价值尚未验证。

来源:OpenReview · Representation learning · openreview.net