SAMG：通过状态—动作条件离线模型引导实现离线到在线强化学习

基于摘要分析。本文研究离线到在线（Offline-to-Online，O2O）强化学习中，如何在在线微调时利用离线知识、减少对离线数据集的持续依赖。作者提出 State-Action-Conditional Offline Model Guidance（SAMG），将预训练的离线 critic 冻结，以紧凑的模型形式保留离线知识，而非继续利用离线数据重训。 核心机制是通过状态—动作条件系数，将冻结的离线 critic 与在线 target critic 结合。该系数旨在刻画每个状态—动作样本的“离线程度”，并在训练期间自适应更新。摘要未说明这一程度的具体定义、系数估计方式或 critic 的组合公式，相关机制尚未验证。作者称 SAMG 可集成到基于 Q-function 的算法中；其主要方法特点是将离线知识保留在冻结的价值模型中，并按样本调节引导强度。 作者报告，理论分析支持该方法具有良好的最优性与更低的估计误差，并在 D4RL benchmark 的 O2O RL 评估中优于所比较的先进方法。摘要未提供具体任务、离线数据质量、在线交互预算、基线名称或数值结果，因此不能确定优势覆盖范围；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 驱动的闭环控制可表示为具有历史状态、动作及奖励记录的强化学习任务，冻结离线 critic 的机制可能用于研究在线适应时的离线知识保留。可复用部分是价值引导与自适应权重，需改造状态表征和奖励设计；低信噪比、跨被试漂移及小数据可能使离线 critic 与权重估计失准。一个可证伪的小实验是在相同在线交互预算下，对比有无冻结 critic 引导的策略回报与适应稳定性。上述对应仅为假设，不是已验证的 EEG/BCI 效果，已有 EEG 相关工作尚未检索确认。