TacitVLA:无推理延迟的推理型视觉—语言—动作模型
TacitVLA: Reasoning Vision-Language-Action Models Without Reasoning Latency
基于摘要分析。本文研究机器人操作与自动驾驶中的视觉—语言—动作(VLA)模型:能否保留文本推理带来的性能收益,却不让动作等待自回归推理文本生成。TacitVLA 将推理监督与当前动作对推理文本的依赖解耦;作者认为,推理监督已改善骨干表征,因此动作无需读取当前生成的推理也能受益。 核心机制是动作专家不关注本次调用生成的推理文本。对于将推理文本作为情景记忆的长时程任务,模型可在动作执行期间生成记忆条目,而非先生成再行动。这并不等于取消推理生成或历史记忆,而是将当前推理生成移出动作等待路径。具体网络结构、监督形式、损失及并行执行调度尚未验证。 作者报告,在覆盖操作、自动驾驶以及有记忆和无记忆任务的 RoboMME、RMBench、LIBERO、PhysicalAI-AV 四个基准上,TacitVLA 达到显式推理对照的性能,延迟优势最高达 3.4 倍;相较同架构但不使用推理训练的模型,延迟相当,成功率增益最高为原文所述“+17.1%”,该增益是相对百分比还是百分点尚需核对。作者报告,RoboMME Counting suite 成功率为 82.7%,此前最佳已发表结果为 66.8%;RMBench 为 77.5%,此前结果为 56.5%;LIBERO-Plus 为 72.9%;PhysicalAI-AV 闭环驾驶挑战公开划分的 scene score 为 52.5%。这些指标属于不同任务与协议,不能直接横向比较;实验划分、延迟测量条件、基线配置、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是辅助推理监督可能改善表征,而实时输出不必依赖在线文本解码,并非将 VLA 直接用于 EEG。若 EEG 任务已有可信解释标注,可在同一被试划分和同一模型下,比较无解释监督、解释监督但直接解码、先生成解释再解码三种条件的 Accuracy 与端到端延迟。需要改造信号编码与监督接口;低信噪比、跨被试差异、小数据及解释标注质量可能使该假设失效。已有 EEG 相关工作尚未检索确认。
值得核对其受控实验是否支持将推理监督的表征收益与在线文本解码解耦,从而在不依赖当前推理文本的情况下保留动作性能并降低延迟;其 EEG/BCI 适用性尚未验证。
来源:arXiv · 多模态与生成机制 · arxiv.org