通过非马尔可夫分散实现策略多样化以扩展解空间

基于摘要分析。本文研究强化学习中策略多样性的构建，主要对象是奖励依赖状态与动作历史的非马尔可夫决策过程（non-MDP），而非 EEG 或 BCI。作者提出对策略嵌入逐步进行分散（dispersion），以扩展当前解空间并获得更丰富的策略集合。 核心机制：在 policy diffusion initialization 的前提下，作者认为不同历史信息与时间依赖会使 non-MDP 的解空间呈现非结构化扩展，并产生不等价的解的闭式形式。方法首先使用基于 Transformer 的序列建模学习状态—动作历史对应的策略嵌入，再堆叠这些嵌入构造 dispersion matrix，将其作为策略多样性的度量并诱导策略分散。摘要未提供初始化方式、矩阵构造公式、优化目标或训练细节，上述概念的严格定义尚需正文核对。 理论与实验：作者报告，当 dispersion matrix 为正定矩阵时，分散后的嵌入能够增大策略间的差异，为原始策略嵌入分布提供多样化表达。作者还报告，在 non-MDP 与 MDP 环境的实验中，该方案通过扩展解空间获得表达能力更丰富的多样策略，并较近期学习基线表现出更强的鲁棒性。摘要未列出环境名称、评价指标、具体基线、数值或数据划分；实验协议、消融及统计信息尚未验证。阅读时需区分嵌入差异、实际行为多样性与任务回报，不能将三者视为等价。 平台推测（待验证）：迁移假设是，在具有历史依赖反馈的闭环 BCI 策略学习中，历史序列编码与策略分散可能帮助保留不同控制策略；这并不等同于提高 EEG 解码性能。可复用部分是序列策略嵌入及多样性约束，需改造信号到状态的映射、动作定义和反馈奖励。低信噪比、跨被试差异、通道变化及小样本可能使嵌入差异主要反映噪声而非有效行为差异。一个可检验的小实验是在同一历史依赖 BCI 仿真任务、相同数据与训练预算下，对比加入和不加入分散机制的策略，分别测量行为多样性与任务回报，并检查噪声增强后收益是否保留。已有 EEG 相关工作尚未检索确认。