跳到正文
arXiv · 泛化与分布偏移· Jiawei Geng; Zhenyang Liu; Yuzheng Wu; Yanwei Fu·· 3 天前精选AI 评分76

AWAM:面向鲁棒机器人操作的主动轨迹条件化视图想象

AWAM: Active Trajectory-Conditioned View Imagination for Robust Robot Manipulation

AI 导读

基于摘要分析。该研究面向语言指令驱动的机器人操作,针对杂乱、遮挡和视角变化导致关键空间关系难以观测的问题,提出 AWAM(Active World-Action Model),通过行动前规划虚拟观察轨迹并想象沿途视图,为操作提供空间先验。 其核心机制是虚拟主动感知:先预测与任务相关的虚拟相机运动,将其作为结构化查询输入几何条件世界模型;生成的空间先验被压缩为固定记忆,再通过交叉注意力与实时观测融合,用于基于扩散的动作预测。方法的关注点不是单纯增强当前图像,而是利用任务相关的观察路径组织想象信息。世界模型的几何条件来源、训练监督、记忆压缩方式及各模块的训练关系,摘要尚未说明。 作者报告,在各自评估设置下,AWAM 在 LIBERO-Occ、LIBERO-Plus、RLBench-OG Occlusion1 上的成功率分别为 75.9%、62.4%、76.5%,真实机器人试验成功率为 94.4%。这些结果支持其在所评估遮挡和分布偏移条件下的鲁棒性,但各设置的任务构成、试验次数、数据划分、对照基线、消融及统计信息尚未验证,不能据此判断相对提升幅度或普遍的开放世界能力。 本研究的主要对象是机器人视觉感知与动作生成,并非 EEG 或 BCI。摘要中的几何世界模型、相机轨迹和可想象视图依赖视觉空间结构,尚不足以建立与神经信号解码的具体机制对应,因此不据此提出 EEG 迁移效果或复现实验建议。

阅读价值

值得关注的是将任务相关虚拟相机轨迹作为几何条件世界模型的查询,再将想象视图压缩为动作预测的空间先验;其相对直接视觉输入的贡献及计算代价仍需全文核对。

来源:arXiv · 泛化与分布偏移 · arxiv.org