Conflux-PSRO:在 Policy Space Response Oracles 中有效利用策略群体的集体优势
Conflux-PSRO: Effectively Leveraging Collective Advantages in Policy Space Response Oracles
基于摘要分析。本文研究零和博弈中如何通过 Policy Space Response Oracle(PSRO)的策略群体构建近似 Nash Equilibrium(NE),提出 Conflux-PSRO:在状态级自适应选择并训练群体内的策略,使 Best Response(BR)利用不同策略的专长,而不是仅依赖单一策略。 核心机制是从已有策略群体中识别有用策略,并通过路由策略在每个决策点选择合适的策略,同时训练这些策略以增强其有效性。作者认为,既有方法在 BR 中加入多样性正则化,可能使优化偏离奖励最大化,在多样性并非必要时仍偏重多样性。Conflux-PSRO 则尝试直接利用群体已有的多样性,将策略间的专长互补转化为 BR 的性能提升。摘要尚未说明路由策略的输入、选择粒度、训练目标、策略更新方式及其与 PSRO 迭代的具体耦合。 作者报告,在多个环境中,相较传统 PSRO 及其多样性改进方法,Conflux-PSRO 提高了 BR 的效用并降低 exploitability(可利用度)。摘要未提供环境名称、数值、基线配置或统计结果,因此无法判断改善幅度、训练成本及其对游戏复杂度的依赖;实验协议、消融及统计信息尚未验证。 主要研究对象是多策略零和博弈求解,而非神经信号建模,也不能由来源分类认定其属于 State Space Models。材料未提供路由策略与 EEG/BCI 任务之间的具体机制对应,因此不据此推断跨被试解码或在线适应收益,亦不提出迁移复现实验。复现前需核对策略群体构建、路由与联合训练实现、NE 近似及可利用度评估协议。
值得关注其以状态级策略路由利用已有策略群体专长、而非仅在 Best Response 中加入多样性正则化的机制;收益与可利用度的改善仍需结合全文实验协议核对。
来源:OpenReview · State space models · openreview.net