跳到正文
OpenReview · State space models· Zhiyi Li; Peilin Wu; Xiaoshen Han; Ruojin Cai; Yilun Du·· 2025-09-13精选AI 评分76

用于机器人规划的 4D 潜在世界模型

4D Latent World Model for Robot Planning

AI 导读

基于摘要分析。该研究面向机器人操作规划,针对二维视频世界模型在三维空间推理、遮挡及视角变化下的局限,提出 4D Latent World Model:在结构化稀疏体素潜空间中预测场景三维结构随时间的演化,并将预测的未来场景转化为可执行动作。 核心机制是以观测与文本指令为条件,在潜空间中整体编码场景,而非仅预测二维投影。该表示可解码为包括 3D Gaussian Splatting 在内的多种三维格式;规划阶段由世界模型生成未来场景,再由目标条件逆动力学模型映射为动作。其主要方法区别在于将动态预测放入三维结构化表示中,而不只是向视频模型加入深度或法线等表面投影信号。摘要未说明具体训练目标、潜表示构建流程及动作模型的训练方式。 作者报告,在与视频规划器的比较中,模型生成的未来场景具有更好的视觉质量、物理一致性和多视角一致性;完整规划流程在复杂操作任务、新视觉条件泛化及真实机器人平台上表现更优或有效。但摘要未提供任务与数据集名称、评估划分、基线配置、量化指标或统计结果,因此不能判断优势幅度及不同实验之间的可比性。实验协议、消融及统计信息尚未验证。 该工作的主要研究对象是具备三维场景观测和动作执行能力的机器人,并非 EEG 解码或 BCI。摘要未给出与神经信号建模直接对应的机制或验证证据,不据此推断其对 EEG/BCI 的有效性;已有 EEG 相关工作尚未检索确认。复现所需的数据、代码、三维表示处理及真实平台配置也尚未验证。

阅读价值

值得关注其以结构化稀疏体素潜空间预测三维场景演化、再通过目标条件逆动力学模型生成动作的规划机制,但摘要不足以核验其相对视频规划器的收益及适用边界。

来源:OpenReview · State space models · openreview.net