MomaGraph:用于具身任务规划的状态感知统一场景图与视觉语言模型
MomaGraph: State-Aware Unified Scene Graphs with Vision-Language Model for Embodied Task Planning
基于摘要分析。该研究面向家庭环境中兼具导航与操作需求的移动操作机器人,提出 MomaGraph 统一场景表示,将空间关系、功能关系及部件级可交互元素纳入任务相关的场景图,并配套提出数据集、评估套件和视觉语言规划模型。 作者指出,既有场景图方法往往分离空间与功能关系,将场景视为静态快照,且对物体状态、时序更新及当前任务所需信息的表达不足。MomaGraph 旨在解决这些问题,但摘要未说明状态编码、图结构更新及任务相关信息筛选的具体实现,其动态表示能力尚需正文验证。 数据与模型方面,作者提供家庭环境中的任务驱动场景图数据集 MomaGraph-Scenes,以及覆盖六类推理能力的 MomaGraph-Bench,评估范围从高层规划到细粒度场景理解。在此基础上,作者开发了 7B 视觉语言模型 MomaGraph-R1,使用 MomaGraph-Scenes 进行强化学习训练。模型预测面向任务的场景图,并在 Graph-then-Plan 框架下充当零样本任务规划器;奖励设计、训练配置,以及场景图如何约束后续规划尚未验证。 作者报告,在 MomaGraph-Bench 上模型达到 71.6% Accuracy,并称相较最佳基线提升“+11.4%”;该差值是相对提升还是百分点差异,摘要未明确。作者还报告其在开源模型中取得领先结果,能够泛化至其他公开基准并迁移到真实机器人实验,但数据划分、基线名单、零样本条件、机器人任务与成功率、消融及统计信息尚未验证,不能据此比较不同评估协议下的效果。 本研究的主要对象是具身机器人场景理解与任务规划,而非 EEG 解码或 BCI。材料未提供神经信号建模机制或具体对应关系,因此不据此生成 EEG/BCI 迁移效果推断或复现实验建议。复现原研究仍需核对数据、标注规范、模型权重、代码与评估协议的可获得性。
值得关注其将任务相关的空间、功能与部件交互信息统一为场景图,并配套数据集、评估套件与 Graph-then-Plan 规划模型的研究路径,但摘要中的性能与真实机器人迁移结论仍需核对完整实验协议。
来源:OpenReview · State space models · openreview.net