在状态可演化环境中学习复用策略

基于摘要分析。本文研究强化学习（RL）策略部署后，因传感器维护或新增而发生状态特征变化时的性能退化问题，将其形式化为状态可演化强化学习（SERL），目标是在不进行高成本探索的条件下适应状态空间变化。作者提出 Lapse，通过复用旧策略及其行为经验，分别应对传感器消失与新增的情形。 核心机制包含两条路径：其一，将学习得到的状态重建模型与稳健的旧策略组合，以处理传感器消失；其二，复用旧策略的行为经验，通过离线学习训练适应新状态空间的策略，以利用新增传感器。Lapse 进一步自动调整集成权重，聚合两种策略。相较于摘要列举的传感器不变策略或有限样本策略选择方法，其主要区别是同时利用旧策略的决策能力与行为经验，而非只追求传感器不变性或选择已有策略。 作者报告，理论分析支持稳健策略复用有助于减轻状态演化与重建引入的不确定性和误差；在基准环境中，Lapse 相对最强基线取得约 2 倍的性能表现。摘要未明确这一倍数对应的指标、基准环境、状态演化协议及基线名称，因此不能据此推断具体收益或跨任务优势。重建模型结构、离线数据构成、集成权重更新方式、理论假设、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 驱动的闭环控制使用 RL，通道丢失或新增可能与本文的状态特征演化形成机制对应；这是假设，不是已验证的 BCI 效果。可考虑复用状态重建、旧策略组合与离线适应思路，但需适配 EEG 特征结构、时序依赖及离线交互数据。低信噪比可能使重建误差放大，跨被试变化不一定可归结为传感器变化，小数据也可能限制离线策略适应。一个可检验的小实验是在具有既有策略及交互日志的 EEG 闭环任务中，固定被试与任务，模拟部分通道丢失，在相同数据预算下比较冻结旧策略、重建后复用旧策略及 Lapse，分别测量任务回报和重建误差。已有 EEG 相关工作尚未检索确认。