从仅状态序列中学习非马尔可夫决策

基于摘要分析。本文研究无法观测示范者动作、且序列行为不满足标准 Markov Decision Process（MDP）假设时的模仿学习，通过非马尔可夫决策过程（nMDP）对仅状态序列进行深度生成建模。其核心贡献是将策略表示为状态转移生成器潜空间中的能量先验，使策略执行与模型规划可以在同一生成模型中解释为采样推断。 方法采用最大似然估计开展基于模型的模仿学习，其中先验采样使用短程 MCMC，后验估计使用重要性采样。在“决策即推断”的表述下，无模型策略执行对应先验采样，基于模型的规划对应以策略初始化的后验采样。这里的 state 指决策过程中的状态，不应仅凭来源栏目将其等同于通常用于序列建模的 State Space Models 架构。 作者报告，该方法在带非马尔可夫约束的原型路径规划任务中有效，并在 MuJoCo suite 的挑战性任务中取得较强表现。摘要未提供具体任务名称、数据规模、比较基线或量化指标，无法判断优势幅度；状态历史的编码方式、潜变量定义、采样成本、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 BCI 辅助控制中能够获得连续环境状态轨迹、却缺少可靠动作记录，该框架可能为学习具有历史依赖的控制行为提供参考；这一假设针对控制层，而非已验证的 EEG 解码方法。可考虑复用潜空间策略先验与规划推断机制，但需适配状态观测噪声、控制时延和用户差异。若将 EEG 直接作为状态，低信噪比、跨被试差异及小数据可能使潜变量与动作意图难以对应。一个可检验的小实验是在固定的辅助光标控制任务中隐藏示范动作，对比该框架与马尔可夫状态基线在相同状态轨迹和历史约束下的任务成功率及推断时延。已有 EEG 相关工作尚未检索确认。