跳到正文
arXiv · 多模态与生成机制· Zipei Ma; Junzhe Jiang; Jiahui Zhang; Juntong Zhang; Chun Gu; Bozhou Zhang; Jiankang Deng; Xiatian Zhu; Li Zhang·· 6 天前精选AI 评分80

前向动力学模型

Forward Dynamics Models

AI 导读

基于摘要分析。本文研究机器人策略学习,提出 Forward Dynamics Models(FDM),以动作特征为条件预测未来世界状态,使真实未来状态在端到端训练中监督策略,同时在推理时完全跳过未来生成。主要贡献是将未来预测作为训练监督路径,而非动作推理的前置依赖。 机制上,作者将现有方法的局限区分为两类:Vision-language-action(VLA)模型缺少未来世界状态的显式监督;部分 world action models(WAMs)依据预测未来生成动作,因而增加推理成本,并可能将视觉预测误差传递至动作。FDM 采用 action-to-future 范式,未来预测依赖动作特征,而非反向依赖。这里需要区分训练监督与推理信息流:作者主张未来状态监督可经动作特征影响策略学习,但未来生成误差不会作为动作推理的输入。 作者分别使用预训练 vision-language models(VLMs)和 video generative models(VGMs)作为骨干,在仿真及真实机器人任务上评估。作者报告在 LIBERO 上取得平均成功率 99.4%,并在真实任务中相较 VLA、WAM 方法获得提升。摘要未说明 LIBERO 的具体任务组合、训练测试划分、重复次数及基线配置,不能据此直接比较其他协议下的结果;具体损失、特征连接方式、消融及统计信息尚未验证。 平台推测(待验证):其可迁移假设是,训练时的未来状态监督可能帮助学习任务相关表征,而无需在部署时运行预测模块。若用于 EEG 解码,需重新定义动作特征与可观测未来目标,不能直接将机器人动作等同于 EEG 类别。低信噪比、跨被试差异及小数据可能使预测目标偏向伪迹或个体特征。一个小规模可证伪实验是在相同跨被试划分与骨干下,对比纯分类训练和增加未来 EEG 片段预测监督的训练,并在推理时均移除预测模块;需确保目标片段不跨越数据划分边界。已有 EEG 相关工作尚未检索确认,此假设不构成已验证的 BCI 效果。

阅读价值

值得核对其以动作特征连接未来状态监督、同时在推理时移除未来生成的机制,尤其是预测信息流的方向与计算开销对照;其对 EEG/BCI 的适用性尚未验证。

来源:arXiv · 多模态与生成机制 · arxiv.org