跳到正文
OpenReview · State space models· Yumeng Zhang; Shi Gong; Kaixin Xiong; Xiaoqing Ye; Xiao Tan; Fan Wang; Jizhou Huang; Hua Wu; Haifeng Wang·· 2024-01-01精选AI 评分75

BEVWorld:通过统一 BEV 潜空间构建用于自动驾驶的多模态世界模型

BEVWorld: A Multimodal World Model for Autonomous Driving via Unified BEV Latent Space

AI 导读

BEVWorld 面向自动驾驶中的未来场景预测,将多模态传感器输入转换为统一、紧凑的鸟瞰图(BEV)潜表示,并在该空间中进行动作条件下的未来序列生成。基于摘要分析,未取得论文全文。 方法由多模态 tokenizer 和潜空间 BEV 序列扩散模型组成。前者编码多模态信息,解码器通过射线投射渲染,以自监督方式从 BEV 潜表示重建 LiDAR 与图像观测;后者以 action tokens 为条件预测未来场景。其核心思路是把观测重建与未来预测连接到同一 BEV 潜空间,而非分别在不同传感器的原始观测空间中建模。摘要未提供具体训练目标、动作编码方式或推理配置。 作者报告,自动驾驶实验展示了未来场景生成能力,并使感知、运动预测等下游任务受益。但摘要未列出数据集、数据划分、对照基线及量化指标,因而尚不能判断收益幅度与适用范围;实验协议、消融及统计信息尚未验证。作者表示将提供代码,这不等于代码当前已公开或具备完整复现条件。 本研究的主要对象是自动驾驶环境建模,并非 EEG/BCI。统一多模态潜表示具有一般方法参考价值,但 BEV 几何结构、射线投射重建与驾驶动作条件均有明确领域依赖,不能直接视为神经信号建模方案;其与 EEG/BCI 的具体机制对应及已有相关工作尚未检索确认。

阅读价值

值得关注其将多模态观测压缩到统一 BEV 潜空间、再进行动作条件未来预测的两阶段设计,但摘要不足以核验下游收益,也不能据此认定其适用于 EEG/BCI。

来源:OpenReview · State space models · openreview.net