跳到正文
OpenReview · Representation learning· Mu Nie; Zhibin Quan; Weiping Ding; Wankou Yang·· 2023-01-01精选AI 评分71

增强运动视觉线索的自监督视频表征学习

Enhancing motion visual cues for self-supervised video representation learning

AI 导读

基于摘要分析。本文研究自监督视频表征过度依赖静态像素信息、难以捕捉时间动态的问题,提出 enhanced motion visual cue(EMVC)方法,通过调整视频前景与背景来减少背景偏置、强化运动信息,主要研究对象是视频动作识别与检索,并非 EEG 或 BCI。 机制上,EMVC 包含背景替换模块和前景固定模块,利用原视频序列的前景与背景,使相同动作视频的背景不那么一致、运动线索更加突出。摘要未说明前景提取方式、模块的具体操作、自监督目标及训练规模,这些实现条件尚未验证。 作者报告,EMVC 在 UCF101、HMDB51 和 Diving48 上的动作识别 Accuracy 分别为 84.6%、53.1% 和 68.3%,并称优于现有算法;但摘要未提供数据划分、预训练数据、评估方式和具体对照,因此不能据此作统一协议下的性能排名。作者还报告,在基准数据集的视频检索任务中平均提升超过 14.6%,但未明确检索指标、基线及该提升是相对百分比还是百分点。实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,以保持任务相关动态、扰动无关背景的方式抑制捷径学习,可能有助于减少 EEG 表征对非任务因素的依赖;但视频前景与背景的可分结构不能直接对应 EEG,且具体自监督监督信号及规模依赖尚不明确。可复用的是干预式数据增强思路,需改造的是 EEG 中任务成分与干扰成分的识别及重组方式。低信噪比、跨被试和通道差异可能使干预破坏真实神经信号,小数据条件下也可能难以可靠区分任务与干扰。一个可检验的小实验是在固定跨被试划分下,对比原始自监督训练与仅在训练集构造的干扰扰动增强,检查任务性能和被试信息可预测性是否同时改善。该假设尚无本文证据支持,相关 EEG 工作尚未检索确认。

阅读价值

值得核对 EMVC 如何通过前景与背景干预降低视频表征的背景偏置,以及其动作识别和检索增益的评估协议;该机制对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net