ARVideo:用于自监督视频表征学习的自回归预训练
ARVideo: Autoregressive Pretraining for Self-Supervised Video Representation Learning
基于摘要分析。ARVideo 研究自监督视频表征学习,通过联合时空 token 聚类与随机化时空预测顺序,自回归预测序列中的下一个视频 token,探索适合多维视频数据的预训练方式。 核心机制包括两点:其一,将视频 token 组织为同时跨越空间与时间的簇,以聚合比仅空间或仅时间聚类更丰富的上下文;其二,采用随机化时空预测顺序,替代手工规定的空间优先或时间优先顺序。摘要未说明具体 token 化方式、预测目标、损失函数及随机顺序的采样细节,相关实现尚未验证。 作者报告,在使用 ViT-B 骨干网络的实验中,ARVideo 在 Kinetics-400 和 Something-Something V2 上分别达到 81.2% 和 70.9%,表现与 VideoMAE 相当;摘要未明确上述百分比对应的指标名称及评估划分,不能直接扩展为特定协议下的 Accuracy。作者还报告,相比 VideoMAE,训练速度快 14%,GPU 显存需求减少 58%;硬件、输入规模及训练配置等比较条件尚未验证。实验协议、消融及统计信息尚未验证。 平台推测(待验证):其联合时空上下文建模机制可作为 EEG 自监督表征学习的候选思路,但原论文研究对象是视频,不能据此认定对 BCI 有效。迁移假设是将视频空间维度替换为具有电极位置信息的通道维度,复用联合分组与随机预测顺序,重新设计 EEG 分段、位置编码及预测目标。低信噪比、通道布局差异、跨被试变化和小数据规模可能使模型偏向重建噪声而非任务相关信息。一个可证伪的小实验是在固定 EEG 数据划分、骨干和训练预算下,对比联合通道—时间分组与单维分组,并比较随机顺序与固定顺序的下游解码表现。已有 EEG 相关工作尚未检索确认。
来源:OpenReview · Representation learning · openreview.net