通过具有弹性复杂度的序列恢复进行自监督视频表征学习
Self-Supervised Video Representation Learning by Serial Restoration With Elastic Complexity
基于摘要分析。本文研究自监督视频表征学习,提出打乱片段的序列恢复任务 serial restoration of shuffled clips(SRSC),利用视频片段的时间顺序关系学习时空表征,并通过课程学习调节预训练复杂度。原研究对象是视频,不是 EEG 或 BCI。 机制上,SRSC 使用由顺序感知编码器和序列恢复解码器组成的任务网络,将打乱的视频片段分多步恢复为正确顺序,区别于把片段顺序识别建模为单步分类的预训练任务。作者进一步根据影响 SRSC 求解复杂度的因素,将课程学习策略分为任务、模型和数据三个类别,并考察细分策略的效果。摘要未披露具体损失、复杂度调度方式及网络实现。 作者报告,在其视频实验设置下,该方法在基于预训练任务的自监督视频表征学习方法中取得最先进表现,多数课程学习策略进一步改善下游任务;但摘要未给出数据集、划分、指标、数值及具体对照,无法据此核验优势幅度。作者还报告通过特征级早期融合,将预训练特征作为轻量插件用于 video captioning,并称这是此类预训练任务特征在该任务上的首次应用;该首次性主张尚未独立核实。实验协议、消融及统计信息尚未验证,代码与复现条件也尚未验证。 平台推测(待验证):若 EEG 片段之间存在可学习且与目标任务相关的时间依赖,多步顺序恢复可能为缺少标签的 EEG 提供自监督信号。可复用的是打乱—恢复任务及复杂度课程思路,视频编码器则需改造成适配 EEG 时间采样和通道结构的模块。风险在于低信噪比、跨被试与通道差异,以及小数据条件下,模型可能依赖片段边界等线索而非学习有效神经表征。一个可证伪的小实验是在固定跨被试划分、相同骨干与预训练数据量下,对比单步排序与多步恢复,再单独检验课程策略的增益;不能由视频结果预设 EEG 收益。相关 EEG 工作尚未检索确认。
值得阅读的是将片段排序由单步分类改为多步序列恢复,并围绕任务复杂度组织课程学习;其对 EEG 时序表征的价值尚未验证。
来源:OpenReview · Representation learning · openreview.net