应对持续任务强化学习中的无界状态空间

基于摘要分析。本文研究持续任务强化学习（RL）中无界状态空间下的策略稳定性：策略不仅需要到达目标状态，还需在无限期运行中将系统保持在目标附近的可接受区域。作者提出结合 Lyapunov 成本塑形与状态变换的方法，并在排队网络和交通信号控制问题上进行实证评估。 原问题的关键在于，状态可能无限远离目标。例如，随机排队网络中的等待队列可无界增长；稳定策略应避免队列失控增长，优化策略则进一步最小化队列长度。作者报告，在所研究的在线训练情境中，直接最小化到目标状态距离的深度 RL 算法往往产生不稳定策略，并将这一现象归因于对破坏稳定性的动作进行信用分配时存在困难。这是作者的解释，其因果证据尚需全文核对。 方法包含两个组件：基于 Lyapunov 的成本塑形，以及针对无界状态空间的状态变换。摘要未给出 Lyapunov 函数、成本构造、变换公式或所用 RL 算法，因此尚不能判断稳定性是否具有理论保证，也不能确定两个组件各自的贡献。作者报告，该方法在多种排队网络和交通信号控制问题上，与掌握转移动力学的强基线相比具有竞争力；摘要未提供具体指标、数值或训练预算，不能据此量化优势。实验协议、消融及统计信息尚未验证。摘要提供了代码地址，但实现与复现条件尚未核验。 平台推测（待验证）：若 BCI 闭环控制任务确实存在持续运行中的状态漂移，可考虑借鉴稳定性导向的成本设计，但本文并非 EEG 解码研究。迁移假设依赖可观测状态、可定义的目标区域及可信的安全约束；成本塑形与状态变换需适配神经信号噪声、被试变化和控制延迟，小数据下的状态估计误差也可能使稳定性指标失真。一个可检验的小实验是在固定闭环仿真环境、相同训练预算下，对比原始成本、仅成本塑形、仅状态变换及二者结合，分别评估任务收益和偏离目标区域的持续时间。已有 EEG 相关工作尚未检索确认。