在无限世界中重访熟悉之处：无界状态空间中的持续强化学习

基于摘要分析。本文研究无界状态空间、缺少常规回合重置条件下的持续强化学习，提出 Lyapunov 启发的奖励塑形，使智能体先学习稳定性，再逐步追求最优性。主要研究对象是随机排队等在线控制问题，而非神经信号建模或 BCI。 作者指出，神经网络外推能力有限、代价信号信息不足，在状态与代价均可能无界且系统不能重置的环境中，会使深度 RL 智能体进入未见状态并难以恢复；高度随机的环境尤其具有挑战性。方法通过奖励塑形鼓励智能体先实现有界代价，再结合权重退火逐步引入最优性目标，并对状态输入进行对数变换。摘要未给出具体塑形公式、退火日程、输入变换定义及所用 RL 算法。 作者报告，理论分析表明奖励塑形可降低智能体的发散速率；在所考察的无界状态空间在线学习实验中，该方法经验上阻止了发散，组合策略能够学习性能良好的控制策略。摘要未提供任务规模、数值指标、对照基线或统计结果，因此不能量化收益，也不能将经验上的防发散表述为普遍稳定性保证。理论假设、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若某类闭环 BCI 在线控制确实存在不可随意重置、状态持续漂移及代价失控问题，“先稳定、后优化”的目标安排可能具有参考价值，但原领域有效不等于 BCI 有效。可复用部分是奖励塑形与权重退火；需改造状态、代价及稳定性定义，并核对其与 Lyapunov 理论条件的对应关系。EEG 低信噪比、跨被试差异、通道变化和小数据可能使状态估计不可靠，导致塑形奖励偏离真实稳定性。一个可检验的小实验是在固定 EEG 解码器与预设漂移扰动的闭环仿真中，对照原始 RL 与加入上述策略的 RL，比较代价失控频率和任务收益；该实验仅检验迁移假设，不构成临床有效性证据。已有 EEG 相关工作尚未检索确认。