通过因果源头表征应对强化学习中的非平稳性

基于摘要分析。本文研究非平稳环境中的强化学习，提出 Causal-Origin REPresentation（COREP）算法，尝试通过学习稳定的状态图表征，减轻环境变化对策略学习的影响。其核心观点是：非平稳性可沿状态转移中的复杂因果关系传播并累积，因此追溯其因果源头，可能比显式建模环境变化更有利于获得稳健策略。 机制方面，COREP 使用引导更新机制学习被称为 causal-origin representation 的稳定图表征，并据此进行策略学习。作者将其与通常显式建模环境变化、且可能依赖难以获得的先验知识的方法相区分，并提供基于非平稳强化学习因果解释的理论分析。摘要未说明图的节点与边如何定义、因果关系如何识别、引导更新的目标及触发条件，也未明确所需监督信息与数据规模，这些均需正文核对。 作者报告，在所考察的非平稳强化学习实验中，COREP 优于已有方法；但摘要未提供环境名称、非平稳变化类型、对照方法、指标或具体数值，因此尚不能判断优势适用的变化范围。实验协议、消融及统计信息尚未验证，理论结论的假设条件与复现所需实现细节也待核对。 平台推测（待验证）：若 EEG 驱动的闭环强化学习任务中，部分状态因素的变化会经交互过程传播，追溯变化源头可能为策略稳健性提供研究假设；这不等于已验证的 EEG 解码或 BCI 效果。可考虑复用稳定图表征思路，但需重新定义 EEG 特征与交互状态的关系，并处理低信噪比、通道变化、小样本及跨被试差异造成的因果结构识别风险。由于摘要尚不足以确定具体可移植模块，本条不提出复现实验方案；已有 EEG 相关工作尚未检索确认。