面向强化学习中非可逆马尔可夫链的有向拉普拉斯表征学习

基于摘要分析。本文研究固定强化学习策略诱导的有向马尔可夫链中的拉普拉斯表征学习，以 Chung Laplacian 为谱目标。核心贡献是通过加权坐标、基于动力学可逆分量的折扣方案，以及正向与时间反向转移的组合，处理未知平稳分布带来的约束依赖和正向多步采样引起的谱目标偏移。 作者指出，既有基于折扣正向转移的估计在可逆链或单步情形下是精确的，但固定策略通常会诱导非可逆链。方法在加权坐标中消除对平稳分布的显式依赖，并设计保持目标特征向量的折扣方案；在平稳采样条件下，组合正向与时间反向转移构造能量的无偏估计，再与增广拉格朗日目标结合。作者给出的谱恢复保证是简单谱假设下的局部稳定性，而非任意初始化下的全局收敛保证。 作者报告，在摘要所述的可逆环境中，该方法的表现与竞争方法相当；在非可逆设置中，恢复 Chung Laplacian 特征向量的表现明显更好。摘要未提供具体环境、对照方法、评价指标或数值。时间反向转移的获取方式、平稳采样要求的实现、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若将 EEG 状态演化建模为有向马尔可夫过程，该机制可能用于检验正向多步转移是否扭曲谱表征，但这需要明确状态定义、转移估计和近似平稳条件，不能将强化学习中的结果视为 EEG 有效性证据。可复用部分是谱目标与能量估计框架，需改造的是 EEG 状态构建及反向转移估计；低信噪比、有限数据和跨被试非平稳性可能使估计失效。一个小规模检验是固定 EEG 状态划分与数据划分，对比两种转移估计方案所得谱表征在独立数据段上的稳定性。已有 EEG 相关工作尚未检索确认。