通过非马尔可夫离散化实现策略多样化以扩展解空间

基于摘要分析。本文研究强化学习中策略多样性的构建，重点针对奖励依赖历史状态与动作、无法直接按标准 Markov Decision Process（MDP）处理的非马尔可夫问题。作者提出在策略扩散初始化的前提下，通过策略嵌入的逐步离散化（dispersion）扩展解空间，获得更多样的策略；研究对象是强化学习策略，而非 EEG 解码或 BCI 系统。 核心机制包括：使用基于 transformer 的方法编码状态与动作序列，学习能够表征历史信息和长程依赖的策略嵌入；堆叠这些嵌入构造 dispersion matrix，将其作为策略多样性度量，引导嵌入在解空间中分散。这里的 dispersion 与初始化中的 diffusion 应区分理解，摘要不足以确认后者的具体生成或采样机制。作者报告，在 dispersion matrix 正定的条件下，理论推导表明分散后的嵌入能够增大策略间分歧，使原策略嵌入分布获得更多样的表达；证明假设、分歧定义及适用范围尚未核对。 作者报告，在非 MDP 与 MDP 环境中的实验显示，该方案能通过扩展解空间获得表达能力更强的多样策略，且相较近期学习基线表现更稳健。摘要未提供环境名称、基线名称、指标、数值或重复实验设置，因此不能量化收益，也不能将策略多样性直接等同于任务回报提升。具体损失、正定性约束的实现、训练与推理成本、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 BCI 自适应交互中的反馈确实依赖历史决策，该方法可能用于探索多样的交互策略，而不是直接替代 EEG 分类器。可复用的是序列策略嵌入与多样性度量；需重新定义状态、动作及历史依赖奖励，并处理 EEG 低信噪比、被试差异与少量交互数据带来的嵌入不稳定风险。一个可检验的小实验是在具有明确历史依赖奖励的 BCI 交互仿真中，固定训练预算，对比加入与不加入 dispersion 的策略分歧和任务回报；仿真结果不能视为真实 BCI 有效性证据。相关 EEG 工作尚未检索确认。