SEMDICE：通过稳态分布校正估计实现离策略状态熵最大化

基于摘要分析。本文研究强化学习中的无监督预训练：不依赖任务特定奖励，学习可用于下游任务的先验策略。作者提出 SEMDICE，从离策略数据集中学习使状态稳态分布熵最大化的单一平稳马尔可夫策略。 核心机制是将策略优化直接置于稳态分布空间，并通过稳态分布校正估计处理离策略数据。这里的状态熵最大化（SEM）旨在扩大策略长期访问状态的多样性，而不是直接优化某个下游任务的奖励。摘要称方法可使用任意离策略数据集，但这一表述所需的数据覆盖、环境及分布估计假设尚未验证；摘要也未给出校正估计的具体目标、训练步骤或策略提取方式。 作者报告，在所评估的实验中，SEMDICE 的状态熵最大化表现优于对照算法，且在基于 SEM 的无监督强化学习预训练方法中具有最佳的下游任务适应效率。摘要未提供环境、数据集、对照名称、指标数值或适应预算，因此该结论应限定于作者所用评估设置，实验协议、消融及统计信息尚未验证。 本文主要对象是强化学习探索与预训练，并非状态空间序列模型或 EEG 解码。材料未提供神经信号上的验证，也未建立与 EEG/BCI 瓶颈的具体对应关系，因此不据此提出 BCI 迁移效果或复现实验建议；已有 EEG 相关工作尚未检索确认。