通过联合状态—动作生成构建人形机器人世界动作模型

基于摘要分析。该研究针对人形机器人分层控制中的动作—执行差距：VLA 或 WAM 输出的参考动作经过全身控制、机器人动力学、平衡与接触过程后，可能与实际运动不同。作者提出 HWAM，将执行后的本体感知状态纳入显式预测目标，联合生成参考动作及其对应的实际身体状态，使动作学习直接受到执行运动的监督。 核心机制包含三条互补的条件路径。Policy 路径仅以当前观测为条件，对状态—动作轨迹联合去噪，以匹配部署条件；Forward Dynamics Modeling（FDM）以动作和执行后状态为条件预测未来视觉观测；Inverse Dynamics Modeling（IDM）从视觉转变重建联合轨迹。其方法重点不是只预测未来图像，而是显式连接策略参考、实际身体运动和视觉结果，减轻视觉预测同时解释场景变化与执行偏差的负担。具体生成模型结构、损失组合和训练安排尚未验证。 作者报告，在 LimX OLI 人形机器人的三个真实机器人任务上，HWAM 在所评估基线中取得最高成功率，且未使用额外机器人数据进行预训练。在 Candy Picking 任务中，作者报告 HWAM 成功率为 70.6%，pi_0.5 为 62.5%，Fast-WAM 为 43.3%。这些结果限于摘要所述任务与比较范围；试验次数、数据划分、控制配置、消融及统计信息尚未验证，不能据此推断其他机器人或任务上的效果。 平台推测（待验证）：若 BCI 用于控制机器人或假肢，该机制可能对应“解码指令与实际执行结果不一致”的闭环控制问题，而非直接提升 EEG 解码。迁移假设依赖同步的神经信号、参考动作、执行后状态及视觉反馈；可借鉴联合状态—动作目标，但需改造观测编码与时间对齐。低信噪比、跨被试差异、小数据规模及反馈延迟都可能使联合预测失效。一个可检验的小实验是在固定 EEG 解码器与控制器的条件下，对比仅学习参考动作和加入执行后状态监督的控制模型，检查执行误差及任务成功率是否改善。已有 EEG 相关工作尚未检索确认。