MOBODY：基于模型的跨动力学离线强化学习

基于摘要分析。本文研究跨动力学离线强化学习：利用离线源域数据和有限目标域数据，在两域动力学不匹配的条件下学习目标域策略。MOBODY 通过学习目标域动力学生成转移来优化策略，旨在突破仅利用低动力学偏移区域数据的限制。 核心机制：作者指出，在不同域中到达相同下一状态可能需要不同动作，因此为各域设置独立动作编码器，将不同动作映射到共享潜在空间，同时共享状态表示与转移函数。策略优化引入目标域 Q 值加权的行为克隆损失，使策略偏向目标域中价值较高的动作，而不是依据源域 Q 值或均匀模仿离线数据中的所有动作；其目的包括抑制分布外动作。 对照与结果：作者将奖励惩罚或剔除高偏移动力学转移的方法作为主要比较对象，认为这类方法可能限制策略利用目标域中的高回报区域。作者报告，在 MuJoCo 和 Adroit 的多项基准评估中，MOBODY 优于所比较的跨动力学强化学习基线，以及采用其他动力学学习方法的策略学习方案，在困难场景中改善尤其明显。摘要未给出具体任务、数据规模、偏移构造、指标或数值，因此不能据此量化优势；实验协议、消融及统计信息尚未验证。 复现重点是核对有限目标域数据如何支撑动力学学习、共享表示在大幅动力学变化下的有效性，以及目标域 Q 估计误差与模型生成转移误差如何影响策略。本文主要对象是控制基准上的离线强化学习，并非 EEG 解码或 BCI 验证；摘要未提供神经信号数据或具体 BCI 对应机制，不据此推断 BCI 有效性。