跳到正文
OpenReview · State space models· Awni Altabaa; Bora Yongacoglu; Serdar Yüksel·· 2023-01-01精选AI 评分78

连续空间随机博弈中的去中心化多智能体强化学习

Decentralized Multi-Agent Reinforcement Learning for Continuous-Space Stochastic Games

AI 导读

基于摘要分析。本文研究一般状态空间随机博弈中的去中心化多智能体强化学习(MARL),重点考虑智能体无法观察彼此动作的信息结构。作者提出去中心化 MARL 算法,并报告建立了其策略更新的近优性理论结果。 相较于主要面向有限状态博弈的既有研究,本文的研究对象扩展到一般状态空间,同时限制智能体对其他参与者动作的可观测性。除所提算法外,作者还分析了一类基于最佳响应(best-reply)的算法的全局策略更新动态,并报告推导出联合策略空间上收敛概率的闭式刻画。这里的策略更新近优性与全局动态的收敛概率是两个不同层面的结论,不宜合并解读为任意连续空间博弈中均能保证全局最优收敛。 摘要未给出状态空间与策略类别的具体条件、奖励与转移信息的可得性、策略更新实现方式,以及近优性的误差定义和收敛概率的适用假设;这些是理解理论结果边界及复现算法时需要核对的内容。实验协议、消融及统计信息尚未验证。材料未涉及 EEG 或 BCI,也未建立与神经信号任务的具体机制对应,因此不能据此认定其具有 BCI 应用效果。

阅读价值

值得关注的是在智能体无法观察彼此动作的一般状态空间随机博弈中,作者对去中心化策略更新近优性与联合策略空间收敛概率给出理论刻画,其适用假设仍需核对全文。

来源:OpenReview · State space models · openreview.net