利用状态距离信息迭代学习多样化策略

基于摘要分析。本文研究强化学习中如何在优化奖励的同时发现行为不同的策略，提出将状态空间距离纳入多样性度量，并结合迭代学习构建 State-based Intrinsic-reward Policy Optimization（SIPO）。主要研究对象是强化学习策略多样性，而非状态空间序列模型或 EEG 解码。 机制上，作者指出，现有多样性度量可能为视觉上难以区分的策略赋予较高分数，因此尝试用状态空间中的距离更直接地刻画行为差异。计算框架方面，论文比较 population-based training（PBT，基于种群的训练）与 iterative learning（ITR，迭代学习；此处并非信息传输率）。作者认为 PBT 对应精确的问题表述，而 ITR 可用更高计算效率取得相近的多样性分数，并在实践中改善解的质量。SIPO 将 ITR 与两种可计算的状态距离多样性度量实现结合；具体距离定义、内在奖励构造和优化细节尚未验证。 作者报告，SIPO 具有可证明的收敛性质，并在涵盖机器人运动控制至多智能体博弈的三个领域开展实验；在其全部测试环境中，获得了现有基线未能发现、具有策略多样性且人类可理解的策略。摘要未提供具体环境、基线名称、评估指标数值或计算预算，因而无法判断优势幅度，也不能将该结论扩展至其他任务。收敛证明的假设、实验协议、消融及统计信息尚未验证。 材料未涉及 EEG 或 BCI，且未给出状态距离与神经信号任务之间的具体对应关系，因此暂不据此提出 BCI 有效性结论或复现实验建议；已有 EEG 相关工作尚未检索确认。