MOBODY：基于模型的跨动力学离线强化学习

基于摘要分析。本文研究跨动力学离线强化学习：利用源域离线数据与有限目标域数据，在两域动力学不匹配时学习目标域策略。MOBODY 通过学习目标域动力学生成转移来优化策略，避免仅依赖动力学偏移较小的源域转移，从而尝试覆盖目标域中的高回报状态。 核心机制是将动作差异与共享状态转移结构分开建模。基于“不同域可能需要不同动作才能到达相同下一状态”的观察，MOBODY 为各域设置独立动作编码器，将动作映射到共享潜在空间，同时共享状态表征与转移函数。策略优化进一步采用目标域 Q 值加权的行为克隆损失，倾向模仿目标域 Q 值较高的动作，而非依赖源域 Q 值或均匀模仿全部离线动作；作者将其用于抑制分布外动作。 作者报告，在多种 MuJoCo 与 Adroit 基准上，MOBODY 优于所比较的先进跨动力学强化学习基线，以及采用不同动力学学习方案的策略学习方法，在既有方法困难的场景中改善尤其明显。摘要未提供具体任务、源域与目标域划分、目标数据规模、评价指标或数值，实验协议、消融及统计信息尚未验证。复现需重点核对动力学偏移的构造、学习模型的滚动与误差控制、Q 值估计及行为克隆权重设置。 平台推测（待验证）：该机制可能适用于带动作、状态转移和奖励记录的闭环 BCI 控制，而非直接用于 EEG 解码。假设跨会话变化主要体现在控制动作到环境状态变化的映射，分域动作编码器可能复用，但仍需适配 EEG 观测或解码器输出，并验证共享状态与转移函数的假设。低信噪比、被试差异及少量目标数据可能导致状态估计与模型滚动误差累积。一个可检验的小实验是固定状态和奖励定义，在两种受控动作映射下收集离线控制数据，以相同目标数据预算比较共享与分域动作编码器的目标域回报和转移预测误差。已有 EEG 相关工作尚未检索确认。