利用单条轨迹学习快速混合的外生块马尔可夫决策过程

基于摘要分析。本文研究序列决策环境中的无监督表征学习：如何仅凭单条连续交互轨迹，从高维观测中识别可控潜在状态并学习其动力学，以支持智能体适应新目标或奖励函数。作者提出 STEEL，并给出函数逼近设置下的正确性与样本效率理论保证。 研究采用 Exogenous Block Markov Decision Process（Ex-BMDP）框架，将观测的潜在因素区分为两类：可控因素在较小状态空间中依据动作确定性演化；外生因素表示具有时间相关性、可能高度复杂的噪声。学习目标是构建从观测到可控潜在空间的编码器，并恢复该空间的动力学。与摘要所述依赖有限时域后重置到固定初始状态的既有工作不同，本文处理不能依赖此类回合重置的单轨迹情形。 作者报告，STEEL 的样本复杂度依赖可控潜在空间大小、编码器函数类大小，以及至多线性依赖外生噪声的混合时间；作者将其称为该设置下首个具有可证明样本效率的算法。作者还报告在两个玩具问题上演示 STEEL，并提供代码。摘要未披露算法步骤、具体复杂度表达式、玩具问题设置或定量结果，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可控状态与时间相关外生干扰的分离思路，可能为闭环 EEG/BCI 表征研究提供理论参照，但原研究对象是交互式决策过程，并非 EEG 解码。迁移假设要求动作、观测和可控状态之间具有可识别关系；可借鉴的是因素分离目标，编码器与状态转移假设则需改造。低信噪比、跨被试差异、通道变化和小数据，以及真实神经状态的随机演化，都可能使该对应失效。若先核实理论条件，可在可控状态已知的合成交互环境中叠加不同混合时间的 EEG 风格相关噪声，小规模检验状态恢复是否稳定；这不构成真实 BCI 有效性证据。已有 EEG 相关工作尚未检索确认。