Moving Off-the-Grid:以场景为基础的视频表征
Moving Off-the-Grid: Scene-Grounded Video Representations
基于摘要分析。本文研究视频表征中 token 与图像空间位置固定对应所带来的限制,提出自监督视频表征模型 Moving Off-the-Grid(MooG),使 token 能够脱离固定网格,在场景元素跨帧移动时持续表征这些元素。主要研究对象是视觉场景与视频表征,并非 EEG 或 BCI。 核心机制是结合交叉注意力与位置嵌入,解耦表征结构和图像结构,并使用下一帧预测作为自监督训练目标。作者报告,训练后形成的潜在 token 能够绑定特定场景结构,并随其运动进行追踪。这里的关键区别不是简单改变图像分块,而是放松 token 身份与固定时空位置之间的对应关系;具体位置编码方式、预测损失及 token 更新过程尚未验证。 作者报告,通过在所学表征之上训练读出模型,在多种下游视觉任务中进行了定性与定量评估,相较“on-the-grid”基线表现出应用潜力。摘要未提供数据集、任务名称、数据划分、指标或具体数值,实验协议、消融及统计信息尚未验证,暂不能判断收益来自哪些组件或适用于何种运动条件。 平台推测(待验证):其可供 EEG 研究考察的假设,是让潜在 token 表征随时间变化的信号成分,而非始终对应固定通道或时间片。但视频中的可追踪场景结构不等于 EEG 中可辨识的神经源;迁移需要重设通道空间编码、潜在成分绑定方式及预测目标,低信噪比、体积传导、跨被试差异和小数据均可能破坏绑定稳定性。可先在含已知时变源与噪声的合成多通道信号上,对比固定网格 token 与解耦 token 的预测误差及源绑定稳定性,以检验这一假设。已有 EEG 相关工作尚未检索确认。
值得关注其通过下一帧预测使潜在 token 持续绑定移动场景结构的机制,但摘要不足以核实相对固定网格基线的收益,其对 EEG 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net