ST-JEPA：面向端到端自动驾驶的 JEPA 增强时序场景—轨迹表征学习

基于摘要分析。该研究面向端到端自动驾驶，试图解决轨迹查询介入视觉编码过晚、紧凑场景 token 缺少直接潜空间自监督的问题，提出结合场景—轨迹编码与 JEPA 增强表征学习的 ST-JEPA。 方法将相机感知的场景 token 与自车状态条件化的轨迹 token 直接注入视觉编码器，使其在特征提取过程中与图像 patch 交互；交错的时序 global-register attention 聚合跨帧上下文，并将更新后的表征传递至后续骨干模块。在线场景—轨迹 JEPA 目标从掩码观测预测紧凑场景及轨迹表征，监督目标来自处理未掩码输入的 EMA teacher；该目标仅用于训练，直接约束紧凑规划瓶颈。另一条路径将 JEPA 预训练适配至驾驶视频，再将所得时空潜特征投影到 token 空间，与原生场景表征融合。 作者报告在 NAVSIM-v1、NAVSIM-v2 及闭环 HUGSIM 基准上达到最先进表现，并通过系统消融支持各组件的有效性。摘要未提供具体分数、指标、数据划分及对照配置，因此不能量化优势或跨协议比较；实验协议、消融及统计信息尚未验证。作者表示代码将在发表时公开，当前材料不能确认代码可用性或论文发表状态。 平台推测（待验证）：可迁移的机制假设是，让任务条件 token 提前参与编码，并在紧凑表征上进行掩码潜空间预测，可能帮助 EEG 保留任务相关时序信息；这不是已验证的 BCI 结果。原方法依赖驾驶视频的多视角与跨帧结构，迁移需重设计 EEG 通道—时间 token、任务条件及掩码策略，不能直接照搬自车轨迹语义。低信噪比、跨被试差异、通道变化及小数据下的教师表征偏差均可能使假设失效。可先在同一 EEG 数据集的固定跨被试划分下，以相同骨干分别比较基线、任务 token 提前交互、追加紧凑表征 JEPA 目标，核对分类指标及多次运行波动。已有 EEG 相关工作尚未检索确认。