学习稳定无界状态空间中的在线强化学习

基于摘要分析。本文研究无界状态空间中在线强化学习（RL）的稳定控制问题，提出结合 Lyapunov 成本塑形与状态变换的方法，旨在避免训练所得策略持续偏离目标状态。主要研究对象是排队网络与交通信号控制，而非 EEG 解码或 BCI。 问题与机制：控制目标不仅是到达期望状态，还包括在长期运行中使系统保持在其附近的可接受区域。在随机排队网络中，队列长度可无界增长，目标状态为所有队列长度均为零；稳定策略维持有限队列长度，最优策略进一步最小化队列长度。作者报告，直接最小化与目标状态距离的深度 RL 方法在在线训练中仍可能得到不稳定策略，并将这一现象归因于对导致失稳动作的信用分配不佳。所提方法从成本塑形和无界状态空间的状态变换两方面干预学习过程；具体 Lyapunov 函数、变换形式、优化目标与训练流程尚未验证。 证据与复现：作者报告，在多种排队网络和交通信号控制问题的经验评估中，该方法与掌握转移动力学的强基线具有竞争性表现。摘要未提供具体指标、数值、任务配置或评估时长，因此不能将这一结论解释为普遍的稳定性保证。实验协议、消融及统计信息尚未验证；复现需核对稳定性的操作定义、初始状态、负载条件、在线探索设置及基线所使用的动力学知识。摘要提供了代码仓库，但其实现完整性与可复现性尚未验证。 平台推测（待验证）：假设某类闭环 BCI 控制任务存在可观测的偏离目标状态及持续失稳风险，成本塑形可能为在线策略学习提供参考；这不意味着其已改善 EEG 解码。可复用的是稳定性导向的成本设计思路，需改造的是状态定义、观测噪声处理及控制约束。低信噪比、跨被试差异与有限交互数据可能使稳定性代理失真。一个小规模可证伪实验是在带噪声观测的模拟闭环任务中，固定 RL 算法与交互预算，对比距离成本和所提塑形方案的长期偏离与失稳频率。已有 EEG 相关工作尚未检索确认。