EMMA：用于自动驾驶的端到端多模态模型

基于摘要分析。EMMA 研究如何以多模态大语言模型统一自动驾驶中的运动规划、目标感知与道路图生成，将原始摄像头数据直接映射为规划轨迹、感知对象和道路图元素；其主要贡献是以自然语言表示非传感器输入与任务输出，使不同驾驶任务共享语言建模空间。 核心机制是将导航指令、自车状态等输入，以及轨迹、3D 位置等输出表示为文本，再利用任务专属提示生成相应结果，旨在复用预训练大语言模型的世界知识。摘要未披露具体模型结构、数值编码精度、损失函数或训练规模，这些细节尚未验证。 作者报告，在 nuScenes 的运动规划评估中达到当时最先进表现，在 Waymo Open Motion Dataset（WOMD）上取得有竞争力的结果；在 Waymo Open Dataset（WOD）以摄像头为主要输入的 3D 目标检测中也取得有竞争力的结果。作者还报告，规划轨迹、目标检测和道路图任务的联合训练改善了三个任务的表现。摘要未提供具体指标、数据划分、对照基线与统计信息，不能据此量化收益或进行跨协议比较。 作者明确列出的局限包括可处理图像帧数量较少、未纳入 LiDAR 或雷达等精确 3D 感知模态，以及计算开销较大。实验协议、消融及复现资源尚未验证。 平台推测（待验证）：可供 EEG 研究参考的是“连续传感器输入与文本化任务接口结合”的多任务机制，而非自动驾驶效果本身。假设其能够用于共享 EEG 编码器下的多任务解码，需要将视觉输入模块替换为 EEG 时序编码模块，并重设输出表示；原方法依赖预训练多模态模型及驾驶任务监督，其数据规模需求尚未验证。低信噪比、跨被试差异、小数据训练及数值文本化误差均可能使迁移失败。一个可检验的小实验是在相同跨被试划分下，对比共享 EEG 编码器配任务提示与配独立任务头的方案，核对性能及计算成本。相关 EEG 工作尚未检索确认。