跳到正文
OpenReview · Representation learning· Ting Yao; Yiheng Zhang; Zhaofan Qiu; Yingwei Pan; Tao Mei·· 2021-01-01精选AI 评分79

SeCo:探索用于无监督表征学习的序列监督

SeCo: Exploring Sequence Supervision for Unsupervised Representation Learning

AI 导读

基于摘要分析。本文研究如何利用视频相较于静态图像多出的时间维度,为无监督视觉表征学习提供监督信号,提出 Sequence Contrastive Learning(SeCo),从空间、时空与序列三个角度利用视频的内在结构。 核心机制是判断一对样本是否来自同一帧、是否来自同一视频,以及三个样本是否具有正确的时间顺序,并将这些关系作为对比学习的监督基础。其主要研究对象是视频与视觉表征,而非 EEG 或 BCI。摘要未提供具体损失形式、采样规则、网络结构及训练规模,不能据此还原实现。 作者报告,在 linear protocol 下,SeCo 在 Kinetics 动作识别、ActivityNet 未裁剪视频活动识别和 OTB-100 目标跟踪中取得较优结果,但摘要未列出具体分数及完整对照。作者另报告,在 UCF101 和 HMDB51 动作识别任务上,相对全监督 ImageNet 预训练的 Accuracy 提升分别为原文所述的 2.96% 和 6.47%;其百分比或百分点口径、数据划分及具体评估设置尚未验证,不能与前述 linear protocol 直接合并解读。摘要提供了源码地址,但代码内容、复现条件、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 数据具有连续记录和可靠时间顺序,可假设将同帧关系改造为同一时间窗的不同增强视图,将同视频关系改造为同一连续记录内的片段关系,并复用顺序监督,探索无标签数据的表征学习。需重新设计时间窗、增强方式和正负样本定义;同一记录也可能共享被试身份或设备噪声,低信噪比、通道差异及小数据可能使模型学到与任务无关的线索。一个可检验的小实验是在固定 Cross-subject 划分下,仅使用训练被试的无标签记录预训练,对比基础对比学习与加入顺序监督后的冻结表征分类结果。该实验属于迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

SeCo 将视频中的同帧、同视频与时间顺序关系转化为对比学习监督,值得核对各类序列信号的独立贡献;其对 EEG 表征学习的价值尚未验证。

来源:OpenReview · Representation learning · openreview.net