跳到正文
OpenReview · State space models·· 29 天前精选AI 评分77

STRIKE:学习用于物理世界建模的视觉状态转移

STRIKE: Learning Visual State Transitions for Physical World Modeling

AI 导读

基于摘要分析。STRIKE 研究物理世界建模中交互如何改变场景的问题,核心贡献是将视觉状态转移学习与稠密视频生成分离,以未来场景状态及其时间位置作为生成完整视频的中间表示,而不只是生成连贯运动。 方法从训练视频中提取已观察到的场景状态,将其与转移描述、时间偏移配对,构建事件对齐监督。基于图像的转移模型以当前图像、局部转移规格及经过时间为条件,预测下一场景配置。推理时,预训练视觉语言规划器预测带时间信息的转移规格,再递归调用转移模型,得到未来视觉状态序列;一个单独训练的动态模型以这些状态及其时间位置为条件生成完整视频。其关键设计是将“场景状态如何变化”与“状态之间的视频如何生成”拆分,而非直接依赖视频生成模型隐式学习全部物理过程。 作者报告,在 Physics-IQ Verified、PhyGenBench、Pisa-Experiments 和 RoboTwin2.0 上,相较对应的视频骨干基线,STRIKE 在物理一致性与操作视频保真度相关基准指标上有所改善。摘要未给出具体指标名称、数值、数据划分或基线配置,无法量化增益,也不能直接比较不同基准上的表现。 复现时需核对事件与状态的提取规则、转移描述的来源、时间偏移编码,以及规划器、转移模型和动态模型的训练与衔接方式;递归预测的误差累积及中间状态监督的独立贡献也是值得检查的问题。实验协议、消融及统计信息尚未验证。原研究对象是视觉物理世界建模,材料未提供 EEG/BCI 数据或验证结果,不能据此认定该框架具有 BCI 有效性。

阅读价值

值得核对的是将事件对齐的视觉状态转移作为规划与视频生成之间的中间表示,并通过视频骨干基线比较其物理一致性收益;具体增益及各模块贡献尚未验证。

来源:OpenReview · State space models · openreview.net