Return-Critic：弥合目标差异以实现高效视觉强化学习

基于摘要分析。该研究针对像素输入视觉强化学习中的样本效率问题，提出 Return-Critic（RC），通过预测回合回报，使辅助表征学习目标更贴近强化学习的回报最大化目标。其主要研究对象是视觉强化学习，而非 EEG 或 BCI。 机制上，RC 从一个回合中采样部分帧，经共享视觉编码器提取表征，再由轻量 Transformer 预测该回合的回报，以促使编码器保留与回报相关的信息。作者认为，掩码重建、状态预测等辅助任务与最终强化学习目标存在差异，RC 的创新重点是以回报预测缩小这一差异。摘要还称，注意力权重能够突出重要帧，为优先学习提供依据；具体采样规则、损失形式、联合优化方式及优先学习实现尚未验证。 作者报告，在在线 DMControl 与离线 V-D4RL 基准上的实验显示，RC 可提升样本效率；其中，在 DMControl 的九项挑战任务上，作者报告平均性能提升 68%。摘要未提供这一相对提升所对应的基线、交互预算、性能汇总口径或不确定性，不能将其解读为准确率提升或百分点变化，也不能直接比较在线与离线协议。实验协议、消融及统计信息尚未验证。 该方法依赖回合序列及其回报监督。现有材料未建立这一监督结构与 EEG/BCI 任务之间的具体对应关系，因此不能据此推断神经信号解码收益；相关 EEG 工作尚未检索确认。复现核对重点包括帧采样策略、共享编码器的梯度更新、辅助目标权重，以及回报预测和注意力优先学习各自的贡献。