SeCo:探索用于无监督表征学习的序列监督
SeCo: Exploring Sequence Supervision for Unsupervised Representation Learning
基于摘要分析。本文研究视频中的时间结构如何为无监督视觉表征学习提供监督,提出 Sequence Contrastive Learning(SeCo),从空间、时空和序列三个角度构造学习信号;主要研究对象是视频表征,而非 EEG 或 BCI。 核心机制是判断一对样本是否来自同一帧、是否来自同一视频,以及三个样本是否具有正确时间顺序,并将这些关系作为对比学习的基础。监督来源是视频自身的结构关系。具体损失形式、样本构造、编码器结构及训练规模,摘要未提供,尚未验证。 作者报告,在 linear protocol 下,SeCo 在 Kinetics 动作识别、ActivityNet 非裁剪视频活动识别和 OTB-100 目标跟踪任务上取得较优结果;还报告在 UCF101 与 HMDB51 动作识别任务上优于近期无监督预训练方法及全监督 ImageNet 预训练。后两项比较的具体下游训练协议、数据划分和统计信息尚未验证,不宜与线性评估结果混为一谈。摘要提供了代码地址,但实现与复现条件尚未核对。 平台推测(待验证):其可迁移部分是利用序列关系构造自监督目标,而非直接复用视频的同帧与同视频定义。假设 EEG 中的局部时间结构包含任务相关信息,可尝试以同一时间窗的不同增强视图、同一试次的窗口关系及窗口顺序替代视频关系;需改造输入编码、增强方式与正负样本规则。低信噪比、跨被试差异、通道配置变化和小数据可能使模型学习身份或采集条件,而非任务信息,时间顺序也未必对所有 EEG 任务有效。一个小规模可证伪实验是:固定 EEG 编码器、训练数据与跨被试划分,对比仅使用窗口视图对比监督与加入窗口顺序监督后的冻结编码器线性分类表现。此方案不是原文结果,已有 EEG 相关工作尚未检索确认。
值得阅读的是 SeCo 如何将同帧、同视频与时序关系转化为对比学习监督,但这些视频结构信号能否适用于 EEG 表征学习尚未验证。
来源:OpenReview · Representation learning · openreview.net