跳到正文
OpenReview · State space models· Jian Yao; Weiming Liu; Haobo Fu; Yaodong Yang; Stephen McAleer; Qiang Fu; Wei Yang·· 2023-01-01精选AI 评分80

非传递博弈中的策略空间多样性

Policy Space Diversity for Non-Transitive Games

AI 导读

基于摘要分析。本文研究多智能体非传递博弈中 Policy-Space Response Oracles(PSRO)如何通过策略群体多样性改善 Nash Equilibrium(NE)近似,提出新的多样性指标及其优化方法,并构建 Policy Space Diversity PSRO(PSD-PSRO)。主要研究对象是博弈中的策略学习与均衡近似,而非神经信号建模或 BCI 解码。 作者指出,既有多样性指标下更丰富的策略群体,不一定对应更好的 NE 近似,并称论文对此给出了证明。作者提出的新指标旨在使指标改善能够保证 NE 近似质量提高;摘要未给出指标定义、近似质量的度量方式及保证所需的博弈假设,因此尚不能判断其适用范围。 方法上,作者提出仅使用 state-action 样本优化该多样性指标的实用方法,并将多样性正则化纳入 PSRO 的 best response 求解过程,形成 PSD-PSRO。作者还称给出了该方法的收敛性质。正则项的具体形式、样本来源、优化流程和收敛条件尚未验证。 作者报告,在多种博弈上的实验中,PSD-PSRO 相比被作者称为 state-of-the-art 的 PSRO 变体,能够产生可利用性显著更低的策略。摘要未提供具体博弈名称、对照方法、评估协议、数值或统计检验细节,故该结论目前仅能作为作者报告记录;实验协议、消融及统计信息尚未验证。 材料未建立这一博弈机制与 EEG/BCI 任务之间的具体对应关系,不据此推断 BCI 有效性或提出迁移复现实验。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其多样性指标与 Nash Equilibrium 近似质量之间的理论联系,以及仅用 state-action 样本优化该指标的实现条件,但摘要尚不足以验证保证的适用范围和实验优势。

来源:OpenReview · State space models · openreview.net