跳到正文
OpenReview · State space models· Chenhao Zhou; Zebang Shen; Zhang Chao; Hanbin Zhao; Hui Qian·· 2024-01-01精选AI 评分81

通过谱动态嵌入求解连续状态零和 Markov 博弈

Solving Zero-Sum Markov Games with Continuous State via Spectral Dynamic Embedding

AI 导读

基于摘要分析。本文研究连续状态空间、有限动作空间下的双人零和随机 Markov 博弈,提出自然策略梯度算法 Spectral Dynamic Embedding Policy Optimization(SDEPO),核心贡献是结合核嵌入的价值函数近似与策略优化,给出趋近 ε-最优 Nash 均衡的理论保证。 在策略评估阶段,SDEPO 使用核嵌入方法构建状态—动作价值函数的有限维线性近似,并显式分析近似误差。作者报告,在上述连续状态、有限动作的博弈设置及其理论条件下,算法达到 ε-最优 Nash 均衡的末次迭代收敛复杂度为 Õ(1/((1−γ)^3ε)),其中 γ 为折扣因子;该界不依赖状态空间的基数。作者称,这一复杂度与单智能体场景下策略梯度算法已知最佳全局收敛结果相匹配。摘要未说明该复杂度具体计量的计算或采样资源,其适用假设及隐藏项尚需核对。 作者还提出面向连续动作空间的实用变体,并报告经验结果显示该方法具有优势;摘要未提供任务、数据、对照基线或指标,因此不能量化优势,也不能将有限动作设置的理论保证直接推广至连续动作变体。核的构造、嵌入维数选择、采样要求、实验协议、消融及统计信息尚未验证。 本研究的主要对象是博弈求解与策略优化,而非神经信号建模。现有材料未提供与 EEG/BCI 任务的具体机制对应,不据此推断其 BCI 有效性。

阅读价值

值得关注其如何通过核嵌入控制连续状态下的价值函数近似误差,并建立末次迭代趋近 Nash 均衡的理论保证;具体假设与经验优势尚需全文核对。

来源:OpenReview · State space models · openreview.net