通过仅状态分布匹配进行模仿学习

基于摘要分析。本文研究从观察中进行模仿学习：智能体根据专家的状态轨迹学习策略，而不依赖专家动作。针对对抗式方法训练不稳定、真实环境奖励未知时难以选择模型的问题，作者提出非对抗的状态转移轨迹分布匹配方法，并提供可解释的收敛与性能评估指标。 核心目标是最小化策略与专家状态转移轨迹分布之间的 Kullback–Leibler divergence（KLD）。该目标可采用非对抗方式优化，学习得到的密度模型用于引导优化。作者进一步引入估计环境前向与后向动力学的密度模型，通过修改奖励，将 KLD 最小化改写为 Soft Actor Critic 目标，以提高样本效率。摘要未给出密度模型的具体形式、修改奖励的表达式，以及性能估计指标的计算方式。 作者报告，在常用连续控制环境中，相较若干近期的从观察中学习方法，该方法取得最先进水平的性能，并能提供可靠的性能估计器。摘要未列出环境名称、具体基线、交互样本预算、指标数值或统计不确定性，因此尚不能核对性能优势的幅度与适用范围。实验协议、消融及统计信息尚未验证。 复现时值得重点核对：前向与后向动力学密度模型所需的数据及采集成本、密度估计误差对策略优化的影响，以及在真实奖励不可用于模型选择时，所提指标与实际任务表现的一致性。本文的主要研究对象是连续控制中的模仿学习；所给材料不包含 EEG 或 BCI 验证，不能将其结果直接视为神经信号解码或 BCI 控制效果的证据。已有 EEG 相关工作尚未检索确认。