跳到正文
arXiv · 多模态与生成机制· Bingao Chen; Lihan Zha; C. Karen Liu; Guy Tevet·· 23 小时前精选AI 评分78

FoveaVLA:以中央凹式观测动作替代 VLA 中的腕部相机

FoveaVLA: Foveation Actions Replace the Wrist Camera in VLAs

AI 导读

基于摘要分析。FoveaVLA 研究机器人操作中全局视野与局部精细视觉之间的矛盾:腕部相机能提供近距离细节,但视野受限;外部相机覆盖范围广,但输入策略模型的低分辨率图像会损失操作细节。其核心贡献是学习中央凹式观测动作,从外部相机的原始分辨率图像中提取交互区域,以替代腕部相机。 机制上,模型在预测每个动作块的同时,预测下一次策略查询需要观察的交互区域;下一次查询时,将对应的局部裁剪图与完整视图共同输入策略。该方法不是单纯提高全部视觉输入的分辨率,而是让局部高细节观测随操作过程更新。模型基于 π₀.₅,包含 Single 与 Dual 两种配置,分别使用一台或两台外部双目相机,输入包括全局及局部 RGB 与深度信息;两种配置均在 DROID 上结合 RoboInter 交互标注进行后训练。区域预测的监督形式、损失函数及裁剪参数尚未验证。 作者报告,在四组真实世界任务套件中,使用一个外部 RGB-D 视角的 FoveaVLA-Single 成功率为 70.8%,FoveaVLA-Dual 为 77.1%,配备腕部相机的 π₀.₅ 基线为 52.1%。作者报告,两种配置在普通抓取放置任务上与基线相当,在存在干扰物、布料操作及远处物体任务中提高了成功率。这些结果属于机器人操作评估,不构成 EEG 或 BCI 有效性的证据。 复现与解释结果时,需核对各任务的试验次数和成功判据、训练及评估划分、不同配置的相机与深度输入差异,以及区域预测相对固定裁剪或其他观测策略的独立贡献。实验协议、消融及统计信息尚未验证;摘要未提供代码与部署开销信息。该方法依赖空间可裁剪的高分辨率视觉输入及交互区域标注,当前材料不足以建立对 EEG 的具体机制对应,因此不提出直接迁移方案。

阅读价值

值得核对其联合预测机器人动作与下一次观测区域的机制,以及去除腕部相机后性能提升的来源;摘要提供了真实机器人任务结果,但传感器配置与训练条件的可比性仍需全文验证。

来源:arXiv · 多模态与生成机制 · arxiv.org