重新思考基于 VLM 的机器人操作中间表示

基于摘要分析。本文研究基于 Vision-Language Model（VLM）的机器人操作：如何将人类指令转化为可解析执行的中间表示，同时兼顾 VLM 可理解性与对未见任务的泛化能力。作者提出 Semantic Assembly 表示 SEAM，并结合面向物体细粒度部件定位的开放词汇分割方法，连接指令理解与操作目标定位。 表示机制方面，SEAM 受上下文无关文法结构启发，将中间表示分解为词汇与语法：以简洁、语义丰富的操作构成词汇，以便于 VLM 理解的语法组织这些操作，用于处理多样的未见任务。摘要未给出具体操作集合、语法规则或动作执行接口，因此尚不能判断其表达能力边界及对底层控制系统的依赖。 感知方面，作者设计了结合上下文学习策略的开放词汇分割范式，用于定位杯柄、茶壶开口等与操作相关的细粒度物体部件。作者报告，该方法相较其比较的同期先进工作具有最短推理时间；但摘要未提供对照方法、硬件、输入条件及计时范围，速度优势的适用边界尚未验证。 评估方面，作者提出衡量动作泛化能力与 VLM 可理解性的新指标，用于比较主流中间表示，并报告 SEAM 在两方面均表现较强；作者还报告，在不同设置与任务的真实机器人实验中达到 SOTA 表现。摘要未提供指标定义、任务划分、机器人平台、基线和定量结果，实验协议、消融及统计信息尚未验证。 本文的主要研究对象是机器人指令到动作的表示与物体部件定位，而非神经信号解码。现有材料未建立其机制与 EEG/BCI 瓶颈的具体对应关系，不据此推断 BCI 有效性或提出迁移实验；相关 EEG 工作尚未检索确认。复现前需取得完整语法、分割与上下文示例构造方法、评估协议及实现信息。