跳到正文
arXiv · 泛化与分布偏移· Haichuan Wang; Anagha Satish; Jiale Zheng; Saisneha Ghatti; Lingkai Kong; Kai Wang; Milind Tambe·· 4 天前精选AI 评分79

DiffNash:利用扩散策略求解高维连续动作空间中的纳什均衡

DiffNash: Finding Nash Equilibrium in High-Dimensional Continuous Action Spaces with Diffusion Policies

AI 导读

基于摘要分析。本文研究高维连续博弈中的纳什均衡计算,核心问题是如何表示多模态策略分布,并在策略迭代更新、无法直接从更新后的目标策略采样时训练扩散策略。作者提出支持 Online Mirror Descent(OMD)和 Fictitious Play(FP)的扩散框架,主方法 DiffNash 通过历史动作复用结合两类更新机制。 技术上,作者推导重加权 score-matching 目标,以避免训练必须直接获得各轮更新策略样本的要求。DiffNash 使用 replay buffer 复用过去动作;针对由此产生的分布偏移,作者推导当前策略与历史策略的 Evidence Lower Bound(ELBO)差值的无偏估计量,再以其指数作为重要性权重的可计算代理,避免直接计算扩散模型似然。需要区分:摘要中的“无偏”针对 ELBO 差值估计量,并不直接意味着指数变换后的权重代理也是无偏估计。 作者报告,在 forest protection games 和 continuous Colonel Blotto games 上,相对于各自最强基线,Nash gap 分别降低 35.6% 和 24.7%,并称仅需少量超参数调整。这些结果针对连续博弈均衡求解,不是分类准确率或神经信号解码表现。具体博弈规模、动作维度、基线配置、采样预算、消融及统计信息尚未验证。 平台推测(待验证):历史样本在策略变化下的重加权机制,可能对采用连续动作策略的 BCI 闭环控制研究有参考价值,但其依赖可计算的策略 ELBO 与博弈反馈,不能直接用于一般 EEG 分布偏移。若测试迁移,需要重构控制动作、反馈与策略更新接口;低信噪比、小样本和跨被试差异可能导致权重波动或有效样本量下降。一个可证伪的小实验是在固定 EEG 闭环控制仿真中,以相同交互预算比较不复用、直接复用和代理权重校正,检验校正是否改善控制回报及训练稳定性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其利用重加权 score matching 与 ELBO 差值代理重要性权重、在策略持续更新时复用历史样本的机制,但摘要中的博弈结果不构成 EEG/BCI 有效性证据。

来源:arXiv · 泛化与分布偏移 · arxiv.org