强化学习中 actor 与 critic 表征相互作用的研究

基于摘要分析。本文研究同策略（on-policy）actor-critic 强化学习中，策略模块 actor 与价值评估模块 critic 是否需要相同的观测信息，以及共享或分离表征如何影响学习。其主要贡献是考察两类表征的功能分化，并分析这种分化与下游性能、探索和训练数据采集的关系。 作者报告，在其研究的分离表征设置中，actor 的表征倾向于提取与动作相关的信息，而 critic 的表征更侧重编码价值与环境动力学信息。作者还考察了不同表征学习方式对上述专门化及下游样本效率和生成能力（摘要原文为 generation capabilities）的影响，并报告独立的 critic 对训练期间的探索与数据采集具有重要作用。摘要未明确“生成能力”的具体任务定义，不能将其直接解释为泛化能力。 这些结果提示，共享表征可能涉及策略决策与价值估计之间的信息需求权衡，但摘要不足以支持“分离表征普遍优于共享表征”的结论。具体算法、环境、模型结构、参数量匹配方式、评估划分、量化收益，以及表征专门化的测量方法均尚未验证；实验协议、消融及统计信息也需查阅全文。作者声明提供代码、训练模型和数据，其可访问性及复现完整性尚未核验。 平台推测（待验证）：若 EEG 闭环任务采用同策略 actor-critic，并具有动作、奖励及连续交互轨迹，可检验决策相关信息与价值／动力学信息是否也存在分化；这并不构成已验证的 EEG 解码改进。可复用的是共享／分离表征的对照思路，需改造的是 EEG 编码器与交互任务设计。低信噪比、跨被试和通道差异，以及有限交互数据，可能使独立编码器增加估计方差。一个小规模可证伪实验是在相同数据预算和匹配参数量下，对照共享与分离 EEG 编码器，评估闭环任务回报及样本效率，并用表征探针检验信息分化是否出现。已有 EEG 相关工作尚未检索确认。