面向离线强化学习推荐的策略引导因果状态表征

基于摘要分析。本文研究离线强化学习推荐系统（RLRS）中的状态表征问题：高维噪声、与奖励无因果关联的成分及离线数据中缺失的转移，会干扰用户偏好与长期奖励的建模。作者提出 Policy-Guided Causal Representation（PGCR），通过因果特征选择与表征学习两个阶段，提取面向推荐决策的紧凑状态。 第一阶段学习因果特征选择策略，生成保留因果相关成分（CRCs）、改变无关成分的修改状态。该策略由基于 Wasserstein distance 的奖励函数引导；作者将其用于衡量状态成分对奖励的因果效应，并鼓励保留直接影响用户兴趣的成分。第二阶段训练编码器，最小化原始状态与修改状态在潜在表征之间的均方误差（MSE），使表征聚焦于两者共有的因果相关信息。 作者报告提供了干预下因果效应可识别性的理论分析，并在离线强化学习推荐实验中显著提升推荐性能。摘要未提供理论成立的具体假设、数据集、划分、基线、指标及效应量，实验协议、消融及统计信息尚未验证。需结合全文核对缺失转移条件下的干预构造及可识别性保证，不能仅凭表征一致性认定已排除混杂。 平台推测（待验证）：可迁移的机制假设是，以任务奖励引导特征扰动，再约束扰动前后的表征一致性，可能帮助离线 EEG/BCI 决策模型抑制任务无关变异；这依赖具有状态、动作、奖励及转移结构的数据，不能直接等同于普通 EEG 分类。可复用两阶段训练思路，但状态干预方式与奖励定义需要改造。低信噪比、通道相关性、被试差异及小数据可能使扰动误删有效信号或产生不真实状态。一个可证伪的小实验是在固定被试划分的离线 BCI 交互数据上，对照相同编码器与随机扰动一致性训练，检验策略引导是否改善留出数据上的奖励表现及噪声鲁棒性。已有 EEG 相关工作尚未检索确认。