基于观测历史的离线 RL：样本复杂度分析与改进

基于摘要分析。本文研究部分可观测、且状态表征未知或难以定义时，离线 RL 如何利用次优轨迹学习更好的行为。作者从观测历史条件下的样本复杂度出发，提出以 bisimulation loss 促进仅保留动作选择相关特征的紧凑历史表征。 原问题与机制：离线 RL 可以通过“拼接”在相似状态处重叠的轨迹片段，组合出回报更高的行为。但当策略与价值函数以观测历史为条件时，即使两条轨迹到达相似状态，其历史也可能不同，使这种复用难以直接实现。作者报告，理论分析表明标准历史条件化离线 RL 算法存在较差的样本复杂度，并给出仍可高效学习的充分条件；其直观要求是压缩历史，保留与动作选择相关的信息。提出的 bisimulation loss 用于刻画这一性质，并作为显式优化目标改善最坏情形下的样本复杂度。 结果与证据边界：作者报告，在多种任务中，该损失要么带来性能改善，要么已随标准离线 RL 训练而降低至最小，因而与良好性能相关。摘要未提供具体任务、数据规模、基线、指标或数值；损失定义、理论假设、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 闭环决策同样面临部分可观测性，且具备包含观测、动作与奖励的离线轨迹，可考虑复用历史表征压缩与 bisimulation 约束，以减少对无关历史的依赖；这并非对普通 EEG 分类任务的直接改进。需要适配 EEG 时序编码、动作空间及奖励定义。低信噪比、跨被试或通道差异可能使表征保留伪相关，过度压缩也可能丢失决策所需信息，小数据下损失估计可能不稳定。一个可检验的小实验是在相同轨迹划分和离线 RL 基线上，仅比较加入或不加入该损失后的闭环回报，并检查历史压缩是否损害性能。已有 EEG 相关工作尚未检索确认。