从仅状态序列中学习非马尔可夫决策

基于摘要分析。本文研究无法观测示范者动作、且行为不满足标准 Markov Decision Process（MDP）假设时的模仿学习，提出以 non-Markov Decision Process（nMDP）对仅状态序列进行深度生成建模。主要贡献是将策略表示为状态转移生成器潜空间中的能量先验，并以推断过程统一解释策略执行与规划。 机制上，作者采用最大似然估计实现基于模型的模仿学习，其中先验采用短链 MCMC 采样，后验采用重要性采样。在所学模型中，无模型策略执行对应先验采样；基于模型的规划则对应由策略初始化的后验采样。摘要未说明非马尔可夫历史的具体表示、潜变量与动作的对应方式及能量函数形式，这些细节尚未验证。 作者报告，该方法在具有非马尔可夫约束的原型路径规划任务中有效，并在 MuJoCo suite 的挑战性任务中表现较强。摘要未提供具体任务名称、数据规模、划分、对照基线或指标数值，实验协议、消融及统计信息尚未验证，不能据此判断相对优势的大小。 平台推测（待验证）：其潜在联系是处理动作标签不可得且决策依赖历史的序列学习，而非直接提出 EEG 解码方法。若 BCI 控制任务具有可观测环境状态序列，该机制或可用于学习历史相关的控制先验；可复用的是潜空间先验与规划推断框架，需另行设计 EEG 到潜变量或状态的接口。该假设依赖状态信息足够充分，低信噪比、跨被试差异、通道变化和小数据可能使接口估计及采样不稳定。可先在固定环境与相同状态示范数据下，对照历史相关先验与马尔可夫先验，检验历史约束任务的完成率及推断开销，再评估 EEG 接入是否保留收益。已有 EEG 相关工作尚未检索确认。