MoMA：用于离线强化学习的基于模型的镜像上升

MoMA 针对基于模型的离线强化学习中理论方法与实用算法脱节、参数化策略空间受限的问题，提出在离线数据仅部分覆盖条件下使用一般函数逼近的镜像上升算法。基于摘要分析，原论文研究对象是离线决策学习，而非 EEG 解码或 BCI。 核心机制分为策略评估和策略改进：每轮先在转移模型的置信集合内，通过最小化过程保守估计价值函数，再用一般函数逼近更新策略。作者强调其理论方法采用非受限策略类，以区别于依赖受限参数化策略类的方法；但这不意味着实际实现无需函数表示或计算约束，近似实现如何对应理论策略空间需查阅全文。 作者报告，在若干假设下建立了返回策略的次优性上界，并提供可实际实现的近似算法及数值研究。摘要未给出假设内容、置信集合构造、具体更新公式、实验任务、数据覆盖设置、基线或指标，因此无法核对理论界的适用范围与数值收益；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 BCI 自适应交互任务具有包含状态、动作、奖励和后续状态的历史轨迹，MoMA 的保守模型评估可能用于处理日志数据对候选动作覆盖不足的问题。这一路径面向交互策略优化，不是直接替代 EEG 分类器。可考虑复用保守策略评估与镜像上升框架，但需改造神经信号状态表示、奖励定义和转移模型不确定性估计；低信噪比、跨被试差异、通道变化及小数据可能使状态表示和置信集合失准。一个可检验的小实验是在具备上述轨迹字段的数据上，固定状态表示与数据划分，对比保守模型评估和非保守评估在不同动作覆盖程度下的策略回报，并核对离线评估可靠性。相关 EEG/BCI 工作尚未检索确认。