TCGL:用于自监督视频表征学习的时序对比图
TCGL: Temporal Contrastive Graph for Self-Supervised Video Representation Learning
该研究面向无标签视频的自监督表征学习,提出 Temporal Contrastive Graph Learning(TCGL),通过联合建模片段内与片段间的时间依赖,学习多尺度时序表征。基于摘要分析,原论文研究对象是视频动作识别与视频检索,而非 EEG 或 BCI。 机制上,Spatial-Temporal Knowledge Discovering(STKD)模块基于离散余弦变换的频域分析,提取运动增强的时空表征;随后将帧与片段的顺序先验编码到片段内及片段间 Temporal Contrastive Graphs(TCG)中,通过对比学习提高不同图视图间节点表征的一致性。Adaptive Snippet Order Prediction(ASOP)模块利用片段间关系学习全局上下文,并自适应重校准通道特征,为无标签视频构造监督信号。这里的通道特征属于视频模型表征,不能直接等同于 EEG 电极通道。 作者报告,TCGL 在大规模动作识别和视频检索基准上优于所比较的先进方法,但摘要未提供具体数据集、划分协议、对照配置或指标数值,因而无法判断优势幅度与适用边界。摘要提供了公开代码地址;实验协议、消融及统计信息尚未验证,复现仍需核对图构建、视图生成、损失定义及训练配置。 平台推测(待验证):若 EEG 任务具有可保留的局部与长程时间结构,片段内/片段间图及顺序预测可能为无标签 EEG 预训练提供候选机制。该假设依赖足量无标签连续信号和有意义的时间顺序;需将视频 STKD 与增强策略改为适合 EEG 的频时处理及信号增强。低信噪比、跨被试差异、通道配置变化和小数据可能导致图关系不稳定,顺序任务也可能学到非任务相关的漂移。可在固定 Cross-subject 划分下,比较同一 EEG 编码器使用与不使用双尺度时序图预训练的下游表现,并以打乱时间顺序作为对照,检验增益是否来自时序结构。已有 EEG 相关工作尚未检索确认。
值得关注其将片段内与片段间时序先验显式编码为图、并结合图对比学习与顺序预测的自监督机制,但摘要不足以核验性能优势,向 EEG 迁移的有效性尚未验证。
来源:OpenReview · Representation learning · openreview.net