EMMA：面向自动驾驶的端到端多模态模型

基于摘要分析。EMMA 研究如何用统一的端到端多模态模型完成自动驾驶中的运动规划、目标感知和道路图预测，核心贡献是基于多模态大语言模型，将原始摄像头数据映射为多种驾驶任务输出，并以自然语言统一表示非传感器输入与预测结果。 具体而言，导航指令、自车状态等非传感器输入，以及轨迹、三维位置等输出均被表示为自然语言文本；模型通过任务专用提示生成对应结果。这一设计旨在利用预训练大语言模型的世界知识，并让不同驾驶任务在统一语言空间中联合处理。摘要未提供模型规模、数值编码精度、训练损失或推理时延，相关实现条件尚未验证。 作者报告，EMMA 在 nuScenes 的运动规划评估中达到最先进表现，在内部大规模基准上取得有竞争力的结果，并在 Waymo Open Dataset（WOD）以摄像头为主的三维目标检测评估中取得有竞争力的结果。作者还报告，联合训练规划轨迹、目标检测与道路图任务可改善三个任务的表现。摘要未列出具体指标、数据划分、对照基线或提升幅度，实验协议、消融及统计信息尚未验证，不能据此判断收益大小或跨基准可比性。 该研究的主要对象是自动驾驶，而非 EEG/BCI；其输入依赖摄像头数据、驾驶状态及相应任务监督。平台推测（待验证）：可借鉴的是结构化状态与输出的文本化接口，以及任务提示驱动的多任务训练，而不是直接复用驾驶感知能力。若迁移至 EEG，需改造信号编码与对齐模块；低信噪比、跨被试及通道差异、小数据条件可能使文本接口丢失细粒度时序信息或引入负迁移。一个可检验的假设是：在固定 EEG 编码器、训练数据和跨被试划分下，比较直接分类头与文本化标签输出，检验该接口能否保留解码性能。已有 EEG 相关工作尚未检索确认。