跳到正文
OpenReview · State space models·· 2026-09-08精选AI 评分79

StateCraft:以抽象状态推理增强视频世界模型

StateCraft: Augmenting Video World Models with Abstract-State Reasoning

AI 导读

基于摘要分析。该研究面向视频世界模型在长期交互中难以保持世界状态一致性的问题,提出 StateCraft,将持久、可更新的抽象状态与当前视图对应的视觉状态解耦,通过语言模型与视频扩散模型协作生成动态世界。 核心机制是显式记录实体随动作发生的变化,再以抽象状态为条件生成当前视觉状态。与仅记忆历史观测的思路相比,这一设计旨在处理“过去看见的内容已因后续动作而失效”的情况,尤其是动作改变当前视野之外内容的场景。摘要未说明抽象状态的具体表示、更新监督、模型耦合方式或训练损失,相关实现尚未验证。 作者在生成式界面上开展评估,并构建无需人工或智能体监督、可规模化生成密集标注轨迹的数据采集流程,以及覆盖生成质量、记忆和可控性的基准。作者报告,在该基准上,相对其所称的最先进基线,视觉记忆评估中的 SSIM 提高 0.30,PSNR 最高提高 10 dB;具体基线、数据划分、聚合方式及统计信息尚未验证,不能据此推广到其他协议。 作者还报告模型能在长轨迹中保持较高自洽性与生成质量;直接编辑显式抽象状态后,生成结果可响应数据中未出现的状态编辑。一个动作改变未观测房间照明的 3D 概念验证实验,展示了该范式向空间环境扩展的可能性,但不等于已完成广泛空间任务验证。数据集、代码和模型权重为计划公开,当前可获取性尚未验证。 该工作的主要对象是交互式视觉世界生成,并非 EEG 解码或 BCI。摘要未提供神经信号上的验证,也不足以建立直接迁移路径;已有 EEG 相关工作尚未检索确认。复现时宜核对状态标注与更新协议、长轨迹测试划分、不可见状态变化的评估方式,以及抽象状态模块贡献的消融结果。

阅读价值

值得关注其将可更新的显式抽象状态与视觉生成分离的机制,以及针对不可见状态变化设计的记忆与可控性评估,但摘要不足以验证性能增益的完整协议或其对 EEG/BCI 的适用性。

来源:OpenReview · State space models · openreview.net