面向扩散规划器的状态覆盖轨迹拼接
State-Covering Trajectory Stitching for Diffusion Planners
基于摘要分析。本文研究离线强化学习中,扩散规划器受训练轨迹质量与多样性限制、难以泛化至分布外任务和更长规划时域的问题,提出无奖励轨迹增强方法 State-Covering Trajectory Stitching(SCoTS),通过逐步拼接短轨迹片段生成更多样、更长的轨迹。 机制上,SCoTS 首先学习保持时间距离的潜在表示,以刻画环境中的时间结构;随后结合方向性探索与新颖性引导,迭代拼接轨迹片段,覆盖并扩展潜在空间。其主要贡献是从离线数据增强入手改善规划,而非仅调整扩散规划器本身。该机制依赖具有时间顺序的轨迹及可学习的时间关系;具体监督构造、片段连接判据与训练规模尚未验证。 作者报告,在需要轨迹拼接与长时域推理的离线目标条件基准上,SCoTS 显著改善了扩散规划器的性能与泛化能力;作者还报告,增强轨迹可提升多种环境中常用离线目标条件 RL 算法的性能。摘要未给出基准名称、数据划分、对照方法、指标与数值,实验协议、消融及统计信息尚未验证,不能据此判断提升幅度或适用边界。 平台推测(待验证):若用于具有连续状态、动作和目标记录的 BCI 闭环控制轨迹,潜在时间结构与轨迹覆盖机制可能用于检验离线数据覆盖不足的问题;这不等同于 EEG 解码方法。可考虑复用表示学习与片段检索思路,但需改造状态定义、动作可达性约束及跨被试、跨会话连接规则。低信噪比、通道变化与小数据可能使潜在邻近不代表真实可达,导致无效拼接。一个可证伪的小实验是:固定离线控制轨迹与规划器,对比原始数据、随机拼接和 SCoTS 增强,在独立留出的目标任务上评估成功率及轨迹可执行性。已有 EEG 相关工作尚未检索确认。
值得关注其以保持时间距离的潜在表示引导无奖励轨迹拼接的机制,可用于考察离线规划的数据覆盖瓶颈;具体收益与拼接有效性仍需全文实验核对,尚无 EEG/BCI 有效性证据。
来源:OpenReview · State space models · openreview.net