重新审视最大状态熵

基于摘要分析。本文研究智能体在没有指定任务或外部奖励时，如何通过最大化状态熵实现环境探索。作者将两类基础 MaxEnt 方法纳入统一分析框架，并提出 MaxEnt-(V)eritas（MaxEnt-V），结合迭代奖励更新与每轮策略训练至收敛的流程。 机制上，作者指出，Hazan 与 Liu & Abbeel 的方法在采用 kNN 密度估计器时具有相同的奖励函数；作者进一步认为，Hazan 方法中基于 η 的策略采样并非必要，两者的主要区别在于局部平稳奖励函数的更新频率。MaxEnt-V 沿用 Liu & Abbeel 的奖励迭代更新方式，同时借鉴 Hazan 的流程，在更新奖励前将智能体训练至收敛。 理论方面，作者报告证明了 MaxEnt-V 是最大化状态熵的高效 ε-最优算法，且容差 ε 随迭代次数增加而减小；具体假设、复杂度及收敛判据尚未验证。实验方面，作者报告在三个 Mujoco 环境中，相较上述两类 MaxEnt 框架，MaxEnt-Veritas 在状态覆盖和状态熵最大化方面表现更好。摘要未提供环境名称、具体数值或统计检验，实验协议、消融及统计信息尚未验证。 本文的主要对象是强化学习中的无外部奖励探索，而非 EEG 解码或 BCI。其方法依赖可交互环境、状态表示及密度估计；材料未给出这些条件与 EEG/BCI 任务的具体对应关系，因此不据此提出迁移效果或复现实验方案。已有 EEG 相关工作尚未检索确认。