感知却不制动:推理型驾驶 VLA 中的感知—动作绑定鸿沟
Perceives but Doesn't Brake: A Perception-Action Binding Gap in Reasoning Driving VLAs
基于摘要分析。本文研究增强推理能力的驾驶 vision-language-action(VLA)模型为何能够感知并推理安全关键危险,却仍未生成安全动作;作者将其归因于“感知—动作绑定鸿沟”,并在 Alpamayo-1.5 的冻结 flow-matching 采样器中注入危险条件能量,以在生成阶段增强危险信息对轨迹的控制,而不重新训练或修改权重。 诊断方法结合配对模拟反事实与已记录驾驶数据回放。作者报告,行驶路径上的危险已编码在视觉表征中,但纵向规划主要受自车速度历史支配,对障碍物接近程度及模型自身推理轨迹的响应较弱;进一步分析表明,轨迹生成器具备制动能力,部分未制动行为来自危险信息与动作生成之间的耦合不足。这一区分将“看见危险”“能够制动”与“实际依据危险制动”分开检验,而非仅凭推理文本判断安全性。 在提供精确障碍物几何信息的评估条件下,作者报告,引导将车辆轮廓侵入障碍物的比例从 58.1% 降至 14.5%;在其制动相关闭环测试组中,只要剩余停车距离充足即可恢复安全制动,并完全消除碰撞。作者还报告,规划的依赖关系由跟随自车速度转为响应障碍物距离。上述结果仅适用于摘要所述条件,不能外推为一般道路环境下的零碰撞保证。 复现时需核对危险条件能量的定义与引导强度、反事实构造、闭环测试覆盖、侵入指标及停车距离判据,并评估精确几何信息替换为实际感知输出后的表现。实验协议、消融及统计信息尚未验证。本文主要对象是驾驶 VLA,并非 EEG 或 BCI;材料尚不足以建立具体的神经信号迁移机制,不据此推断 BCI 有效性。
值得关注其通过反事实诊断区分危险感知与动作控制,并在冻结模型上检验采样时引导的机制路径,但安全改善依赖精确障碍物几何信息,泛化范围尚未验证。
来源:arXiv · 多模态与生成机制 · arxiv.org