学习逆变换：状态空间变换下的迁移强化学习

基于摘要分析。本文研究强化学习中何时以及如何将源 MDP 的知识有效迁移到目标 MDP，核心是利用一个 undo map（逆变换映射）恢复两者的状态空间对应关系，再迁移源策略。研究对象是 MDP 间的策略迁移，而非 EEG 解码或 BCI，也不是通常用于序列建模的状态空间模型。 方法假设对目标状态空间应用该映射后，可以精确恢复源 MDP。算法通过匹配两个 MDP 中收集的状态特征统计量学习映射，并利用该映射转移源策略。摘要没有说明统计量的具体形式、优化目标、数据采集策略及映射与策略的训练流程，这些内容尚未验证。 理论上，作者在逆变换映射为线性、且源 MDP 满足线性 Q* 可实现性的条件下，报告该方法相较于在目标 MDP 中从零学习具有严格更优的样本复杂度。实验上，作者报告在连续控制任务和 Atari 游戏中也观察到更高的样本效率，但摘要未提供具体任务、交互预算、对照方法或数值；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若闭环 BCI 的跨会话变化主要表现为观测状态的可逆变换，而底层转移、动作与奖励结构保持一致，该思路可能用于恢复既有控制策略的输入表示。可复用的是状态统计匹配与策略复用框架，需要改造的是神经信号特征、映射约束及在线采样机制。低信噪比、通道缺失、跨被试动力学差异或少量校准数据都可能破坏可逆性或使统计匹配失效。一个小规模可证伪实验是在固定闭环控制环境中，对观测施加已知可逆线性变换，在相同目标交互预算下比较映射迁移与从零学习，并核对映射恢复误差和策略回报。该实验仅检验受控变换下的机制，不构成真实 BCI 有效性的证据；已有 EEG 相关工作尚未检索确认。