以基于 Transformer 的场景表征学习增强面向自动驾驶决策的强化学习
Augmenting Reinforcement Learning With Transformer-Based Scene Representation Learning for Decision-Making of Autonomous Driving
基于摘要分析。研究针对城市自动驾驶中交通参与者交互随机、道路结构复杂,以及强化学习(RL)决策样本效率低、适应性不足的问题,提出 Scene-Rep Transformer,通过场景关系编码与序列预测潜变量蒸馏,为决策模块提供改进的潜在场景表征。 核心机制包括多阶段 Transformer(MST)编码器和序列潜变量 Transformer(SLT)。MST 建模自车与邻近车辆之间的交互关系,以及交通参与者与其候选路线之间的意图关系;SLT 使用自监督学习目标,将未来预测信息蒸馏到潜在场景表征中,旨在缩小探索空间并加快训练。最终由 soft actor-critic(SAC)接收该表征并生成决策。摘要未说明自监督目标的具体形式、输入构造、训练阶段安排,以及未来预测信息如何与 RL 优化耦合。 作者报告,在五个交通密集且具有挑战性的城市驾驶仿真场景中,该框架在数据效率、成功率、安全性和效率方面取得改善,但摘要未提供具体数值、指标定义或对照基线。作者另报告,定性结果显示模型能够提取邻近交通参与者的意图,并产生更好的决策和更多样的驾驶行为。实验协议、消融及统计信息尚未验证,不能据此判断各模块的独立贡献或真实道路适用性。 平台推测(待验证):可供 EEG 表征研究借鉴的假设是,辅助性的未来潜变量预测可能帮助编码器保留与下游任务相关的时序信息;原方法则依赖交通参与者、候选路线等结构化关系及连续场景序列,这些条件不能直接等同于 EEG 通道关系或神经活动。迁移时需改造输入编码和关系定义,且低信噪比、跨被试差异与小数据可能使预测目标偏向伪迹或被试特征。可在固定划分的单一 EEG 任务上,仅比较同一编码器加入与不加入未来潜变量预测目标时的表现,并保持下游训练条件一致,以检验该假设;这并非原论文验证内容,已有 EEG 相关工作尚未检索确认。
值得核对其通过自监督未来预测改善 RL 场景表征与样本效率的机制,但摘要仅提供自动驾驶仿真结论,尚不能据此判断其对 EEG/BCI 的有效性。
来源:OpenReview · Representation learning · openreview.net