VLA 真的遵循指令吗?诊断视觉-语言-动作模型对执行方式层面指令的遵循能力
Do VLAs Really Follow Instructions? Diagnosing How-Level Instruction Following in Vision-Language-Action Models
视觉-语言-动作(VLA)模型能否不仅理解“做什么”,还遵循“如何做”的指令,是本文的核心问题。研究通过诊断现有 VLA、引入分段级丰富指令训练及 SIMPLER-IN 评估,考察动作响应、任务成功与执行方式约束满足之间的差异。基于摘要分析,未取得论文全文。 作者将指定任务的指令称为 What-level,将指定执行方式的指令称为 How-level。作者报告,在其诊断设置下,How-level 指令未能帮助当前 VLA,反而降低了任务成功率;摘要未提供具体模型、任务、对照配置或数值,因此结论的适用范围仍需结合全文核对。 机制上,作者假设每个训练 episode 仅配一条指令,会限制模型学习执行方式层面的指令遵循。作者报告,采用分段级丰富指令训练后,动作能够对这类指令作出响应,但任务成功率并未得到一致提升。这提示应区分“动作随指令变化”与“正确完成受指令约束的任务”,不能将前者直接视为后者。 为超越常规任务成功评估,作者提出 SIMPLER-IN,其成功判定要求满足仅由指令给出的条件。作者报告,训练带来的响应能力未能推广到要求更高或分布外的 How-level 指令,因此将此类指令遵循视为尚未解决的问题。 分段指令的构造与监督方式、具体训练目标、SIMPLER-IN 的任务组成和划分、成功判据、实验协议、消融及统计信息尚未验证。本文的主要研究对象是 VLA 指令遵循;所给摘要未提供 EEG 或 BCI 实验,不能据此推断其对神经信号建模或 BCI 控制的有效性。
值得阅读之处在于区分 VLA 的任务成功与执行方式遵循,并用 SIMPLER-IN 检验动作对指令的响应是否真正满足指令约束,而非仅表现出行为变化。
来源:arXiv · 多模态与生成机制 · arxiv.org