跳到正文
OpenReview · Representation learning· Haohong Lin; Wenhao Ding; Zuxin Liu; Yaru Niu; Jiacheng Zhu; Yuming Niu; Ding Zhao·· 2024-01-01精选AI 评分72

面向自动驾驶可信离线强化学习的安全感知因果表征

Safety-Aware Causal Representation for Trustworthy Offline Reinforcement Learning in Autonomous Driving

AI 导读

基于摘要分析。本文研究自动驾驶离线 Reinforcement Learning(RL)在长尾及离线数据未覆盖场景中的安全决策问题,提出 saFety-aware strUctured Scenario representatION(FUSION),利用结构化场景信息学习可泛化的端到端驾驶策略。 核心机制是利用分解后的奖励、成本、状态与动作空间之间的因果关系,构建动态交通环境中的结构化序列推理框架。其研究重点是将安全相关信息纳入离线 RL 的表征学习,而非仅优化驾驶效用。摘要未说明因果结构如何确定、表征如何训练,以及它与策略优化的具体耦合方式,这些均需核对正文。 作者报告,在两类典型的自动驾驶分布偏移设置下,FUSION 相较所比较的安全 RL 与 IL 基线,在安全成本和效用奖励之间取得较好平衡;作者还报告,多种驾驶场景中的结果支持其安全性与泛化能力改善,消融研究支持因果表征的作用。摘要未提供场景名称、数据规模、划分、指标数值或基线配置,因此不能判断改善幅度及统计可靠性,也不能将这些设置直接理解为真实道路部署验证。实验协议、消融及统计信息尚未验证。摘要称项目网站提供代码,但所给材料未包含可核对的代码地址。 平台推测(待验证):若用于具有序列决策、显式效用奖励与安全成本记录的闭环 BCI,结构化区分状态、动作及安全后果可能具有借鉴价值,但不直接对应 EEG 解码性能提升。可考虑复用其结构化表征思路,状态编码和安全成本定义则需按神经信号及反馈任务改造;低信噪比、跨被试差异和小规模交互数据可能使因果关系估计失稳。一个可证伪的小实验是,在具备上述记录的固定离线闭环任务中,以相同数据划分比较有无结构化表征的策略在会话偏移下的效用与安全成本。此为迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 FUSION 如何将分解后的奖励、成本、状态与动作的因果关系用于离线安全 RL,以及其分布偏移评估能否支持安全性与效用兼顾的结论;目前证据限于摘要。

来源:OpenReview · Representation learning · openreview.net