VLMs 是原生动作模型:通过显式动作空间锚定释放 VLMs 的操控能力
VLMs are Native Action Models: Unleashing the Manipulation Capabilities of VLMs with Explicit Action-Space Grounding
基于摘要分析。本文研究如何将预训练视觉语言模型(VLMs)的视觉、空间与推理能力转化为可执行的机器人操控策略,提出 Explicit Action-Space Grounding(EASG)框架,以显式动作空间锚定连接视觉观察与动作生成。其主要研究对象是机器人操控,而非 EEG 解码或 BCI。 核心机制是将以工具中心点(TCP)为中心的动作坐标系投影到腕部相机观测中,并通过 VLM 原生的文本生成接口表达动作,使连续机器人动作空间的语义在模型感知上下文中直接可见。作者据此主张,预训练 VLM 可利用已有视觉空间推理能力生成可执行动作,无需机器人动作预训练或额外动作模块。摘要未说明动作文本的具体编码、解析与执行方式,也未提供控制频率和精度要求。 相较于通常引入可学习动作 token、动作头或动作专家的 vision-language-action(VLA)路线,EASG 强调复用原生生成接口;相较于依赖外部规划与控制支架的模块化方案,它还支持通过同一动作接口直接使用机器人轨迹微调。作者报告,该框架支持零样本操控,以及跨物体位置、类别和机器人本体的泛化,并可通过微调进一步提升能力。但摘要未提供任务集合、机器人平台、训练与测试划分、对照基线或定量结果,实验协议、消融及统计信息尚未验证。 阅读全文时需重点核对零样本评估的适用条件、坐标投影与相机标定依赖、动作执行链路,以及跨机器人本体泛化的具体边界。当前材料未建立 EASG 与神经信号解码之间的具体机制对应,不能将其机器人操控结果视为 BCI 有效性的证据。
值得核对 EASG 如何以可视化动作坐标系和原生文本生成接口连接 VLM 感知与机器人控制,尤其是无需机器人动作预训练的零样本能力及同一接口下的微调收益;这些结论目前仅有摘要层面证据。
来源:arXiv · 多模态与生成机制 · arxiv.org