跳到正文
OpenReview · State space models· Alexander Popov; Alperen Degirmenci; David Wehr; Shashank Hegde; Ryan Oldja; Alexey Kamenev; Bertrand Douillard; David Nistér; Urs Muller; Ruchi Bhargava; Stan Birchfield; Nikolai Smolyanskiy·· 2024-01-01精选AI 评分75

利用潜在空间生成式世界模型缓解自动驾驶模仿学习中的协变量偏移

Mitigating Covariate Shift in Imitation Learning for Autonomous Vehicles Using Latent Space Generative World Models

AI 导读

基于摘要分析。本文研究自动驾驶模仿学习中的协变量偏移:策略执行时可能进入人类示范未覆盖的状态,导致错误累积。作者提出在训练中引入潜在空间生成式世界模型,使驾驶策略学习从偏离状态恢复,并与人类示范中观察到的状态对齐。 核心机制是利用根据历史状态与动作预测下一状态的世界模型,辅助策略进行端到端训练;作者称该方法无需过量增加训练数据即可缓解协变量偏移。论文还提出基于 Transformer 的感知编码器,采用多视角交叉注意力与可学习的场景查询。摘要未说明潜在状态的构造、生成模型形式、状态对齐目标、损失函数或训练时扰动生成方式,这些细节尚未验证。 作者报告,在 CARLA 模拟器的闭环测试中,相较此前最先进方法取得显著改进,并在 CARLA 与 NVIDIA DRIVE Sim 中展示了应对扰动的能力。摘要未提供具体指标、数值、基线名称或训练与测试划分,无法据此判断改进幅度及泛化范围;实验协议、消融及统计信息尚未验证。 平台推测(待验证):该机制可能启发具有动作反馈的闭环 BCI 控制,而非直接用于一般离线 EEG 分类。迁移假设是:若能获得连续神经信号、控制动作及环境反馈轨迹,可用世界模型辅助策略学习偏离示范后的恢复。可复用部分是状态—动作动态预测与恢复训练思路;多视角视觉编码器则需替换或改造为神经信号编码模块。EEG 低信噪比、跨被试差异、通道变化与小样本条件可能导致潜在状态不稳定和模型误差累积。一个可证伪的小实验是在固定被试内划分和相同示范数据量下,对比纯模仿策略与加入世界模型的策略,测试受控扰动后的任务成功率与恢复时间。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其利用潜在空间世界模型训练策略从偏离示范分布的状态中恢复的机制,但自动驾驶闭环结果不能直接作为 EEG/BCI 有效性的证据。

来源:OpenReview · State space models · openreview.net