连续状态空间中的显式探索—利用算法

基于摘要分析。本文研究大规模或无限状态空间中的强化学习（RL），提出将探索与利用明确分阶段进行的基于模型算法，核心是利用多个动力学模型对状态预测的分歧引导探索，并以探索后收缩的模型集合或所收集的经验支持策略优化。 机制上，算法维护一个与当前交互经验相容的动力学模型集合，寻找能够使模型间状态预测产生较大分歧的策略。探索由模型的不确定性分歧驱动，而利用阶段使用进一步筛选的模型集合或探索经验。摘要未说明模型相容性的判据、分歧的计算形式、阶段切换规则及具体规划方法，这些细节尚未验证。 理论方面，作者报告：在可实现性与最优规划假设下，算法能够以关于某一结构复杂度度量的多项式样本量找到近最优策略，并指出该度量在若干自然设置中较低。该保证依赖所述假设，不能直接等同于神经网络近似版本的实际保证。实践方面，作者给出使用神经网络的近似实现，并报告其性能与样本效率；摘要未提供任务、对照基线或量化结果，实验协议、消融及统计信息尚未验证。 本文主要对象是强化学习中的探索—利用问题，而非 EEG 解码或 BCI，也不能仅因来源栏目包含 State space models 就将其归为序列状态空间模型。材料尚不足以建立具体的 EEG/BCI 迁移机制，相关应用价值尚未验证，已有 EEG 相关工作尚未检索确认。