通过动作空间伪标签实现离线强化学习

基于摘要分析。本文研究离线强化学习如何利用固定数据集改进策略，同时避免高估分布外（OOD）动作的价值，提出 Action-Space Pseudo-Labeling（ASPL），以伪 Q 目标补全动作空间中缺失的价值函数训练信号。 核心机制是为动作赋予随其到行为策略支持集距离增大而降低的伪 Q 目标。作者认为，既有方法通过约束策略避免选择被高估的 OOD 动作，可能过度限制策略改进或依赖敏感的超参数；ASPL 则直接作用于价值函数的训练信号，并形成随行为似然降低而增强的隐式、行为感知正则化。摘要未给出距离定义、行为支持集估计方式、伪目标公式及其与原有价值学习目标的组合方式，这些实现细节尚未验证。 作者报告，在 D4RL 数据集上的实验中，ASPL 训练稳定，相比强离线基线获得一致改进，且调参负担较小；摘要未列出具体任务、数据集版本、划分、基线名称、评价指标或数值，因此不能量化提升或判断其适用范围。作者称补充材料提供实验复现代码，但当前未取得全文及补充材料，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 BCI 决策任务具备固定交互日志、明确动作及奖励定义，并存在日志未充分覆盖的动作，ASPL 的价值约束机制可能用于研究离线策略的 OOD 动作风险；这不是 EEG 表征或解码方法。可复用的是价值函数伪监督思路，需改造的是状态表征、行为支持集估计及奖励定义。EEG 低信噪比、跨被试差异和小数据可能使支持集估计失准，误惩罚潜在有效动作。一个可证伪的小实验是在具备上述条件的固定 BCI 日志中，按被试或会话留出评估，对照基础离线算法与加入 ASPL 的版本，检验低覆盖动作的价值估计与策略表现是否同时改善。相关 EEG/BCI 工作尚未检索确认。