S4-Driver：具有时空视觉表示的可扩展自监督驾驶多模态大语言模型

基于摘要分析。本文研究自动驾驶中的端到端运动规划，提出基于 PaLI 多模态大语言模型的 S4-Driver，以时空视觉表示衔接二维图像预训练与三维轨迹规划，减少对中间感知、预测任务人工标注的依赖。 核心机制是稀疏体积策略：在不微调视觉编码器的条件下，将多模态大语言模型的透视视角视觉表示转换到三维空间，并聚合多视角、多帧视觉输入，用于预测三维规划轨迹。作者将现有方法的一项差距归因于表示空间不匹配：多模态大语言模型通常围绕二维图像推理预训练，而自动驾驶规划发生在三维空间。具体稀疏体积构建方式、时序聚合算子、自监督目标及轨迹输出形式尚未验证；不能仅凭 S4-Driver 名称或来源栏目认定其采用状态空间模型。 作者报告，在 nuScenes 和 Waymo Open Motion Dataset（配合内部相机数据）上，S4-Driver 无需人工标注即可取得相较现有有监督多任务方法有竞争力的表现，并在大量无标注驾驶日志预训练时呈现可扩展性。摘要未给出具体指标或数值；数据划分、标注使用边界、基线配置、消融及统计信息尚未验证。Waymo 实验涉及内部相机数据，其公开可复现范围也需核对。 本文的主要研究对象是自动驾驶，而非 EEG 或 BCI。摘要明确的机制依赖多视角视觉输入与三维规划空间，目前不足以建立其与 EEG 表征学习瓶颈的具体对应关系，因此不据此推断 BCI 有效性，也不提出迁移复现实验；已有 EEG 相关工作尚未检索确认。