用于离线强化学习的奖励保持反事实状态编辑

基于摘要分析。研究针对 Decision Transformer 等序列模型在离线强化学习中的因果混淆：策略可能依赖日志数据中能够预测奖励、却不反映环境真实因果机制的伪相关。作者提出 CSET（Counterfactual State Editing Transformer），结合奖励保持的反事实状态增强与因果结构化模型，在严格离线、无需学习环境转移动力学的条件下提高策略鲁棒性。 数据侧，CSET 以条件变分自编码器拟合因果奖励模型，再由反事实状态生成器提出最小编辑的观测，使其预测奖励与事实奖励一致。归一化移动范围约束（normalized move-band constraint）和接受门控用于约束合理性及奖励一致性；增强仅替换观测 token，避免合成后继转移。这里保持的是模型预测的奖励，不能直接视为真实环境中的奖励不变，需核对奖励模型误差及反事实观测的有效性。 模型侧，CSET 使用因果结构化的混合 Transformer：模态专属卷积编码器分别处理 return-to-go、状态与动作序列，末端注意力模块接受软监督，使动作预测聚焦于其直接因果父节点。摘要未说明因果结构如何获得、监督目标及约束的具体形式，相关训练细节尚未验证。 作者报告，在 D4RL locomotion、AntMaze 和离线推荐基准上，CSET 相较 DT 家族方法取得一致增益；在注入伪相关干扰项的评估条件下，相较强价值方法与 DT 基线表现出更强鲁棒性。摘要未提供具体分数、数据划分与干扰注入协议，实验协议、消融及统计信息尚未验证，不能据此判断各组件的独立贡献。 平台推测（待验证）：若 EEG 闭环任务具有包含观测、动作和奖励的离线轨迹，并能区分任务相关特征与伪相关因素，该机制可能用于检验策略对被试或通道干扰的依赖。可复用奖励一致性筛选与仅编辑观测的增强思路，但需改造 EEG 编码器并约束信号生理合理性；低信噪比、跨被试差异及小数据可能导致奖励模型误判。一个可证伪的小实验是在固定数据划分的 EEG 离线决策任务中注入可控伪相关干扰，对比 DT、仅观测增强及完整 CSET 的策略收益与干扰敏感性。原领域结果不等于 BCI 有效，已有 EEG 相关工作尚未检索确认。