有限记忆 POMDPs 中的智能体中心状态发现

基于摘要分析。本文研究高维、非马尔可夫强化学习环境中的智能体中心状态发现：从过去观测序列中提取与智能体任务有关的信息，并排除无关因素。核心贡献是将 generalized inverse models 适配于这一状态表征学习问题，并提供渐近理论、替代算法的负面结果及经验研究。 与当前观测足以解码任务相关状态的马尔可夫设定不同，本文考虑的有限记忆 POMDPs 需要依赖一段历史观测恢复状态。作者报告，仅使用前向运行的序列模型进行编码等直观替代方案存在负面结果；这不等于所有前向序列模型均无效，其成立条件需查阅全文。作者还报告，历史动作具有双刃剑效应：正确使用可提升状态发现能力，错误使用则可能导致显著失败。具体动作使用方式、理论假设、模型结构、实验环境、对照、消融及统计信息尚未验证，摘要未提供可核对的量化指标。 平台推测（待验证）：若 EEG 闭环控制任务也需要从有限历史信号及动作中恢复任务相关状态，该机制可能用于研究如何区分控制相关信息与无关波动，而不是直接作为已验证的 EEG 解码方法。可考虑复用其状态学习思路，但需改造观测编码器，并核对训练目标对动作序列、交互数据和探索覆盖的要求；低信噪比、跨被试变化、通道差异及小数据可能破坏状态可恢复性。一个可证伪的小实验是，在固定 EEG 数据划分和下游控制任务下，对比历史观测编码与加入动作信息的表征，检验其在受控无关扰动下是否保持任务性能；具体动作使用方案须取得全文后确定。相关 EEG 工作尚未检索确认。