OpenReview · Representation learning· Yan Zeng; Ruichu Cai; Fuchun Sun; Libo Huang; Zhifeng Hao·· 2025-04-01精选AI 评分73
因果强化学习综述
A Survey on Causal Reinforcement Learning
AI 导读
基于摘要分析。本文围绕强化学习(RL)中的数据效率与可解释性问题,综述如何利用因果推断思想辅助序贯决策,主要贡献是提出组织既有因果强化学习(CRL)工作的分类框架,而非发布新的学习算法。 分类主线是方法所依赖的因果信息是否预先给定。作者进一步在 Markov decision process(MDP)、partially observed MDP(POMDP)、multiarmed bandits(MABs)、imitation learning(IL)及 dynamic treatment regime(DTR)等框架下,分析不同模型的形式化方式及对应的因果图表示。这一组织方式有助于读者区分方法所处的决策场景与因果信息前提,但摘要未展开各类方法所需的监督信号、可识别性条件或具体学习机制。 作者称还汇总了评估指标与开源资源,并讨论新兴应用及未来方向。摘要未提供具体数据集、对照方法或定量结果,因此不能据此判断因果信息对数据效率或可解释性的实际改善幅度;综述的文献覆盖、评估协议及资源可用性尚未验证。 本文的主要对象是通用序贯决策方法,不是 EEG 解码或 BCI 系统。摘要没有提供可直接对应 EEG 瓶颈的具体算法机制,因此暂不提出迁移实验方案;已有 EEG/BCI 相关因果强化学习工作尚未检索确认。
阅读价值
该综述以因果信息是否预先给定为主线,梳理不同序贯决策框架中的因果强化学习方法,适合用于厘清建模假设与方法选择;具体评估覆盖及其对 BCI 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net