ForeAct3D:面向 VLA 策略的策略锚定未来世界建模
ForeAct3D: Policy-Grounded Future World Modeling for VLA Policies
基于摘要分析。ForeAct3D 研究机器人操作中未来场景预测与实际执行动作脱节、且缺少物理约束的问题,在 Vision-Language-Action(VLA)策略中引入由计划动作条件化的语义 3D 世界建模,以辅助动作生成,而非直接研究 EEG 或 BCI。 方法使用可学习几何查询,从策略表征解码深度、语义分割和相机位姿,构建当前与未来的语义 3D 场景状态;未来查询以策略生成的动作块为条件,使预测对应计划中的交互。物理一致性闭合约束通过背景静止性与实例级刚性关联两个时刻的状态,并将腕部相机位姿与末端执行器运动学关联。这些训练目标共同塑造动作生成所用的共享表征,推理时无需预测未来场景。具体损失形式、监督来源及训练流程尚未验证。 作者报告,在不进行机器人预训练的条件下,ForeAct3D 在 LIBERO 上的平均成功率为 98.3%,在 CALVIN 上的平均任务长度为 3.73,并在所评估的各套件上优于其基础策略;摘要未给出具体数据划分及基础策略配置,不能据此与其他协议下的结果直接比较。作者报告,消融显示语义 3D 监督、物理一致性与动作条件化均有助于操作表现,其中动作条件化还明显改善未来物体定位,但摘要未提供各项增益数值。 在涵盖空间放置、物体插入和序列操作的真实机器人实验中,作者报告平均成功率由基础策略的 6.7% 提升至 37.8%;任务构成、试验次数和统计不确定性尚未验证。摘要提供了项目及代码地址,但代码可运行性、数据与几何监督获取条件、完整消融及计算开销尚未核验。材料未提供该方法与神经信号解码的具体机制对应,不能将机器人操作收益视为 BCI 有效性的证据。
值得核对其将未来场景预测与策略实际生成的动作绑定、并以物理一致性辅助训练动作表征的机制;作者报告推理时无需未来预测,但具体实验协议与计算开销尚待全文验证。
来源:arXiv · 多模态与生成机制 · arxiv.org