跳到正文
OpenReview · State space models· Feiyang Jia; Lin Liu; Ziying Song; Caiyan Jia; Hangjun Ye; Xiaoshuai Hao; Long Chen·· 2026-05-01精选AI 评分76

DriveWorld-VLA:面向自动驾驶、结合 Vision–Language–Action 的统一潜在空间世界建模

DriveWorld-VLA: Unified Latent-Space World Modeling with Vision–Language–Action for Autonomous Driving

AI 导读

基于摘要分析。DriveWorld-VLA 研究端到端自动驾驶中未来场景演化与动作规划的统一建模问题,提出在潜在空间内紧密整合 Vision–Language–Action(VLA)与世界模型,使规划器直接利用场景演化表征,而非仅将视觉想象作为独立辅助信息。 核心机制是将世界模型的潜在状态作为 VLA 规划器的核心决策状态,用于评估候选动作对未来场景演化的影响。动作条件想象完全在特征层面进行,避免昂贵的像素级 rollout。作者主张这种表征层面的整合可减少对密集标注监督的依赖;具体状态共享方式、训练目标、动作条件注入机制及监督需求尚未验证。 作者报告,在包含开环与闭环评估的实验中,方法在 NAVSIMv1 上取得 91.3 PDMS、在 NAVSIMv2 上取得 86.8 EPDMS,并在 nuScenes 上取得 0.16 的 3 秒平均碰撞率,作者据此声称达到最先进性能。摘要未明确各项结果分别对应的开环或闭环协议、数据划分、对照基线及碰撞率单位,因此不能将这些不同指标直接比较,也不能独立确认最先进性能结论。实验协议、消融及统计信息尚未验证。作者表示已发布代码和模型,具体复现配置与资源需求仍需核对。 平台推测(待验证):其可迁移机制是以共享潜在状态连接动态预测与动作决策,可能对应闭环 BCI 中解码结果与反馈动态相互脱节的问题,而非直接改善 EEG 分类。该假设依赖含动作、反馈及后续观测的时序交互数据;可尝试复用潜在状态共享和动作条件预测思路,但需将视觉表征与驾驶动作模块改造成神经信号编码及 BCI 控制模块。低信噪比、跨被试漂移、通道差异和小数据可能导致潜在预测失真并放大决策误差。一个可证伪的小实验是在相同闭环任务与数据划分下,对比仅使用当前神经信号状态的控制器与加入动作条件潜在预测的控制器,核对任务成功率及预测误差是否同步改善。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其世界模型潜在状态如何直接参与 VLA 规划,以及动作条件想象相较像素级 rollout 的收益;摘要中的自动驾驶结果尚不能作为 EEG/BCI 有效性的证据。

来源:OpenReview · State space models · openreview.net