跳到正文
arXiv · 多模态与生成机制· Yuqi Ye; Caigao Jiang; Zhuonan Wang; Congyuan Pei; Chao Qu; Changhao Peng; Junhong Lin; Qize Yu; Zetian Song; Guangzhao Fu; Chongruo Wu; Shiyu Huang; Shuchang Zhou; Honggou Yang; Wei Gao·· 2 天前精选AI 评分79

AUGUstus:统一生成与理解的自动驾驶 VLA 模型

AUGUstus: Autonomous Driving VLA Model with Unified Generation and Understanding

AI 导读

基于摘要分析。AUGUstus 研究端到端自动驾驶 VLA 模型中理解能力与推理延迟的矛盾:直接生成动作可能未充分利用视觉语言模型的理解能力,而依次生成 CoT 和动作 token 又带来较高延迟。其核心贡献是在同一模型中结合扩散式动作生成与自回归 CoT 理解,让理解监督服务于动作生成。 机制上,作者通过联合 CoT 监督,在共享表征中保留视觉语言模型的空间理解能力。AUGUstus-mode 将动作生成安排在 CoT 之前,使训练阶段能够利用 CoT 监督,而推理阶段仅需输出动作;AUGUstus-GRPO 则联合优化动作与 CoT。具体生成顺序的实现、扩散过程、监督损失及 GRPO 奖励设计尚未验证,因此不能仅凭摘要确定各模块的独立贡献。 作者报告,在 NAVSIMv1 上获得 94.6 PDMS,在 NAVSIMv2 上获得 90.7 EPDMS,并称其无需 scorer 模块即可达到 SOTA 规划表现;两项指标来自不同评估版本,不能直接比较。在 nuScenes 上,作者报告平均 L2 误差为 0.27 m、平均碰撞率为 0.05%,并称优于所比较方法。上述结果的划分、预测时域、对照设置及统计信息尚未验证。 实践方面,作者报告使用 512 张 NVIDIA H800 GPU,在内部数据上训练约 2 天,并在内部 1,000 km 数据集上评估;初步实车部署达到 12 Hz。该运行频率不等同于完整系统的安全性验证,训练数据规模、内部评估条件及推理硬件仍需核对。摘要提供项目页,但代码、权重与训练数据的可用性尚未验证。 本文主要对象是自动驾驶规划,并非 EEG 或 BCI。平台推测(待验证):训练期引入理解监督、推理期省去解释生成的思路可能具有跨任务价值,但其依赖可用的 CoT 监督及与动作对齐的多模态数据;现有材料尚不足以建立具体 EEG 机制对应或提出可靠复现实验。相关 EEG 工作尚未检索确认。

阅读价值

值得核对其以训练期 CoT 监督保留理解能力、推理期仅生成动作的机制,以及联合优化是否能在不增加推理负担的前提下改善规划;摘要中的效果仍需结合完整评估协议验证。

来源:arXiv · 多模态与生成机制 · arxiv.org