跳到正文
OpenReview · Representation learning·· 2026-09-16精选AI 评分75

Analytic Dynamics:学习物理驱动表征以从单目视频快速推断内在动力学

Analytic Dynamics: Learning Physics-Grounded Representation for Fast Intrinsic Dynamics Inference from Monocular Videos

AI 导读

基于摘要分析。该研究面向从单目视频推断物体内在动力学的问题,提出前馈框架 Analytic Dynamics,以仿真物理状态学习结构化动力学表征,再将视频表征与之对齐,缩小视觉观测与内在动力学之间的差距。 核心机制是利用仿真中可获得的位置、位移和形变梯度等特权物理状态,建立具有物理依据的表征空间,并通过表征对齐为视频模型引入动力学相关的归纳偏置。作者将其定位为逐场景高成本优化与直接从视觉映射动力学之外的替代路径,意在减少捷径学习并改善泛化。摘要未给出具体对齐损失、模型结构及训练流程,尚不能判断各物理状态的独立贡献。 作者同时构建了动力学数据生成流程与基准,包含配对的物理状态轨迹、渲染视频和真实材料标签。作者报告,在摘要所述但未展开的基准评估中,该方法优于已有基线、具有较强泛化能力,单次推理耗时为 3.83 ms;具体任务、数据划分、对照方法、泛化条件,以及计时硬件、输入规模与计时范围均尚未验证,因此该耗时不能直接外推至其他部署条件。实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是借助特权状态监督建立中间表征,而非直接复用物体动力学模型。若 EEG 任务具备可信的同步行为或生理状态监督,可检验这种表征对齐是否有助于缓解观测与潜在状态之间的差距;但原方法依赖配对仿真状态与视频,EEG 的低信噪比、跨被试差异及通道变化可能使对齐失效。其 EEG/BCI 价值仍待评估,已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是利用仿真特权物理状态构建结构化表征、再对齐视频表征的机制;作者报告其兼顾泛化与快速推理,但具体实验协议及其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net