跳到正文
OpenReview · Representation learning· Yisheng Zhu; Hui Shuai; Guangcan Liu; Qingshan Liu·· 2022-01-01精选AI 评分71

利用改进的实例级对比学习与深度聚类进行自监督视频表征学习

Self-Supervised Video Representation Learning Using Improved Instance-Wise Contrastive Learning and Deep Clustering

AI 导读

基于摘要分析。本文研究自监督视频表征学习,针对常规实例级对比学习(Instance-CL)未能充分处理不同视频之间时序相似性的问题,提出两阶段方法 Improved Instance-CL with Deep Clustering(ICDC),以逐步学习类内更紧凑的时序表征。 第一阶段引入一致性保持采样策略,构造正负样本对;作者称其相比传统采样更关注运动动态,使表征更侧重时序信息。第二阶段以 Instance-CL 提取的时序表征作为初始化,迭代执行 k-means 聚类,并用聚类产生的伪标签训练编码器,从而进一步利用跨视频相似性。摘要未披露采样约束、具体损失、聚类数选择及伪标签更新细节。 作者报告,在 action recognition 和 video retrieval 两项下游任务中,ICDC 相较已有自监督方法获得明显改进。摘要未提供数据集、数据划分、对照方法名称或量化指标,因此尚不能判断增益幅度及各阶段的独立贡献;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移假设是,EEG 实例级对比学习也可能将具有相同任务相关动态的不同片段分离,聚类伪标签或可补充跨片段结构。可复用的是对比预训练与迭代聚类流程;视频运动动态采样则需改造为适合 EEG 时间结构的增强与配对规则。该思路依赖可重复的时序结构和足以形成稳定聚类的数据,低信噪比、被试差异、通道配置及小数据均可能使聚类主要反映伪迹或个体特征。一个可证伪的小实验是在固定 Cross-subject 划分和编码器条件下,对照常规 Instance-CL、改造采样及加入聚类的版本,仅用训练集拟合聚类,检查下游表现与聚类的被试依赖性是否同步变化。上述 EEG 效果并非本文已验证结果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 ICDC 如何通过一致性保持采样与迭代聚类缓解视频实例级对比学习对跨视频时序相似性利用不足的问题,但其性能增益及对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net