通过优势估计学习强化学习中的内生表征

基于摘要分析。该研究关注强化学习中如何区分受智能体动作影响的内生变量与不受其控制的外生变量，并利用优势估计学习对外生变量不变的表征。作者以 Exogenous Markov Decision Process（ExoMDP）为框架，分析 advantage function 与动作对累积奖励的因果效应之间的联系。 核心机制是将 MDP 按变量与动作的因果关系进行分解。作者报告，advantage function 可以仅由内生变量表达，而状态价值函数或动作价值函数一般不具备这一性质。这为直接估计优势、而非依赖价值预测来学习表征提供了理论动机；但该结论所需的具体假设、估计目标及训练实现尚未验证。 作者报告，在 toy ExoMDP 实验中，直接估计 advantage function 有助于学习对外生变量不变的表征。摘要未提供环境构造、数据规模、对照基线或定量指标，因此不能判断收益大小或复杂环境中的适用性。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 驱动的交互式强化学习任务能够合理区分动作相关状态与不受动作控制的干扰因素，该机制可能为抑制无关变化提供思路。但“外生”不等于“无用”，被试差异、通道变化和噪声也不能直接视为满足 ExoMDP 假设的变量。可复用的是优势估计与不变表征的研究思路，需改造的是 EEG 编码和环境因果分解；低信噪比、小数据及奖励稀疏可能使优势估计不稳定。一个可检验的小实验是在固定 EEG 交互任务与训练预算下，引入独立于动作的受控干扰，对比直接优势估计与价值估计方案的任务回报及表征对干扰的敏感性。已有 EEG 相关工作尚未检索确认。