SAMG：利用离线模型指导的状态—动作感知离线到在线强化学习

基于摘要分析。本文研究离线到在线（O2O）强化学习中，在线微调为缓解分布外（OOD）数据影响而持续依赖离线数据集的问题，提出 SAMG，以冻结的离线 critic 保存离线经验，并为在线学习提供状态—动作条件化指导。 核心机制是将预训练后冻结的离线 critic 与在线目标 critic 相结合，结合权重由状态—动作自适应系数控制。该系数旨在刻画各状态—动作样本与离线数据的关联程度，并在训练过程中自适应更新。作者称，这使在线微调无需再使用离线数据重训练，且可整合到基于 Q-function 的算法中。摘要未给出系数的计算方式、具体更新目标或离线 critic 的训练细节，不能据此确定实现形式。 作者报告，理论分析支持该方法的最优性与较低估计误差，并在 D4RL benchmark 上优于所比较的先进 O2O RL 算法。摘要未提供具体任务、离线数据配置、在线交互预算、基线名称或指标数值，因此尚不能判断优势适用的条件与幅度；理论假设、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG/BCI 应用本身采用序贯决策，可假设离线 critic 用于保留历史交互经验，状态—动作权重用于调节对新交互的指导强度；这不是通用 EEG 解码方法。可复用的是冻结 critic 与自适应融合思路，需改造的是 EEG 状态表示、动作及奖励定义。低信噪比、跨被试或通道变化可能使离线关联程度估计失准，小数据也可能令离线 critic 的偏差持续影响在线更新。一个可检验的小实验是在已有交互日志的模拟环境中，固定初始化、在线预算与随机种子，对比无离线指导、固定权重指导和自适应指导，并分层考察状态分布偏移下的累计回报。此类 EEG 相关工作尚未检索确认。