通过因果源表示应对强化学习中的非平稳性

基于摘要分析。本文研究非平稳环境下的强化学习，提出 Causal-Origin REPresentation（COREP）算法：不直接显式建模环境变化，而是尝试追溯非平稳性的因果来源，学习稳定的状态图表示以支持策略学习。 核心机制：作者认为，非平稳性可在状态转移过程中沿复杂因果关系传播并累积，从而增加策略学习难度。COREP 使用引导更新机制学习所谓的“因果源表示”，并据此学习策略。摘要未给出图的构建方式、引导更新规则、损失函数及表示与策略的联合训练流程，相关实现尚待正文核对。作者还提供基于非平稳强化学习因果解释的理论分析，但其成立条件及结论范围尚未验证。 结果与复现：作者报告，COREP 在所评估的非平稳性问题上优于现有方法；摘要未列出环境、非平稳变化类型、对照方法、指标或数值，不能据此判断优势幅度与适用边界。材料提供了代码仓库地址，但代码内容、运行条件及结果可复现性尚未核验；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设闭环 EEG/BCI 可表述为状态、动作与反馈构成的序列决策过程，COREP 的稳定表示思路可能用于研究信号漂移对策略的影响。可考虑复用图表示及引导更新思路，但需改造 EEG 状态编码、动作和奖励定义，并核对原方法对可观测性、因果结构及交互数据规模的要求。低信噪比、跨被试差异、通道变化和小数据可能使所学图不稳定，或使其抑制任务相关变化。一个可证伪的小实验是在固定 EEG 特征与相同策略骨干下，对有、无引导更新的版本施加受控通道增益漂移，比较漂移前后任务表现及恢复速度；这仅检验受控扰动下的稳定性，不代表真实闭环 BCI 有效。已有 EEG 相关工作尚未检索确认。