从视频中自监督学习结构化运动

基于摘要分析。研究面向视频中相机运动与物体运动相互耦合的问题，提出 Structured Motion Model（SMM），探索能否从预训练图像 vision transformer 的冻结特征中恢复结构化运动表示。其主要贡献是通过特征预测显式区分时序变化的主要来源与残余运动，并提出覆盖多类运动条件的评估套件 ProbeMotion。 机制与训练：SMM 不将视频变化压缩为单一耦合潜变量，也不采用无结构的空间稠密 transition tokens 来表示全部变化，而是引入主要变化与残余运动的分解。训练结合真实视频上的自监督学习，以及合成 Kubric 数据上的场景运动弱监督，因此不能将整体训练描述为完全无监督。摘要未明确该分解与相机、物体运动是否严格一一对应，其具体参数化、预测目标及损失形式尚未验证。 评估与结果：ProbeMotion 包含合成和真实视频，覆盖相机运动、物体运动及二者组合的条件。作者报告，SMM 优于使用全局 CLS 或平均池化特征的骨干基线，并在若干探测任务上与 VGGT 等强监督表示相比表现有竞争力，同时使用显著更弱的监督。摘要未提供具体指标、数值、数据划分与监督量定义，不能判断优势的幅度、统计稳定性或跨条件一致性。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其“主要变化—残余变化”分解可作为研究 EEG 中共享干扰与任务相关变化分离的机制假设，但视频中的空间运动结构不能直接等同于 EEG 的神经源与伪迹。可复用的是结构化特征预测思路；输入编码、时序目标及分解约束均需改造。低信噪比下，主要变化可能由伪迹主导，而微弱任务信号也可能被错误归入残余；跨被试差异、通道布局变化和小数据训练会进一步增加不可辨识风险。一个可证伪的小实验是在固定被试内划分上，对同一 EEG 编码器比较结构化分解与不分解的预测目标，并在可控注入伪迹前后检查任务表现与表示稳定性。上述 EEG 迁移尚未验证，相关已有工作尚未检索确认。