跳到正文
OpenReview · State space models·· 2026-09-14精选AI 评分73

超越像素:以状态为中心的信息为视频世界模型提供锚定

Beyond Pixels: Grounding Video World Models with State-Centric Information

AI 导读

基于摘要分析。本文研究如何将特权状态信息与视频数据结合,使由动作驱动、预测未来视频帧的视频世界模型更适合物理模拟,而非仅依赖通用视频生成编码器的潜在空间。其贡献包括模块化训练方案、状态与视频的联合建模、利用 LLM 先验进行数据增强,以及面向 Rocket Science 数据集的状态指标。 研究动机是:许多视频世界模型沿用文本到视频生成模型的现成 VAE 编码器,其潜在空间并非专为世界建模设计,也难以解释或控制。作者报告,模块化训练方案能够提升效率;联合建模状态与视频流,则可自然形成对完整世界状态的不确定性度量,包括视频中只能部分观测的状态。摘要未说明模块划分、训练目标、不确定性的具体定义与校准方式,也未明确特权状态信息在训练和推理阶段分别如何使用。 作者进一步利用状态空间结构,在训练中引入 LLM 先验作为数据增强,以修正策略偏差或引入新动作;同时为 Rocket Science 数据集设计基于状态的指标,评估模型的物理理解。这一评估思路关注模型是否正确描述物理状态,而不只关注生成画面的表观质量,但指标定义、对照基线及其与视频指标的关系尚未验证。 摘要未提供定量结果、数据划分或训练规模,实验协议、消融及统计信息尚未验证。本文的主要对象是视频物理世界模型,不是 EEG/BCI 模型;材料尚不足以建立其状态监督与神经信号解码之间的具体对应关系,因此不据此推断 BCI 有效性。

阅读价值

值得关注其以特权状态信息约束视频世界模型、联合建模状态与视频并设计物理理解指标的研究路径,但效率收益、不确定性质量及对策略偏差的修正效果仍需全文实验核对。

来源:OpenReview · State space models · openreview.net