跳到正文
OpenReview · State space models· Lei Zhang; Mukesh Ghimire; Wenlong Zhang; Zhe Xu; Yi Ren·· 2024-01-01精选AI 评分77

具有状态约束的双人一般和微分博弈的价值近似

Value Approximation for Two-Player General-Sum Differential Games With State Constraints

AI 导读

基于摘要分析。本文研究具有状态约束的双人一般和微分博弈,针对 Hamilton–Jacobi–Isaacs(HJI)偏微分方程数值求解的维数灾难,以及约束引起的价值函数不连续使普通 physics-informed neural networks(PINNs,物理信息神经网络)难以准确学习的问题,比较三种价值近似策略。主要研究对象是博弈中的均衡反馈控制,而非 EEG 解码或 BCI。 摘要指出,状态约束或时序逻辑约束可能导致价值函数不连续,普通 PINNs 的采样式学习难以处理这类解,进而影响所得策略的安全表现。三种候选策略分别为:以均衡解监督和 HJI PDE 共同指导的混合学习;逐步增大约束违反惩罚的 Lipschitz 常数、依次求解一系列 HJI 的 value-hardening;以及将价值函数提升到更高维状态空间、使其连续的 epigraphical technique。 在 5-D、9-D 车辆仿真与 13-D 无人机仿真的评估背景下,作者报告混合方法相较其余策略具有更好的泛化与安全表现,并将其优势归因于同时利用监督均衡价值、协态信息及 PINN 损失梯度的低计算成本。摘要未提供具体指标、提升幅度、训练与测试划分或监督解生成成本,因此不能判断优势的量级及适用边界;网络结构、实验协议、消融及统计信息尚未验证。 本文提供的是受约束动态博弈的数值方法证据,不能据此推导 EEG 或 BCI 有效性;与这些领域的具体机制对应关系及已有相关工作尚未检索确认。复现时需核对监督均衡解与协态的获取方式、各方法的计算预算,以及安全性和泛化的评估定义。

阅读价值

值得关注的是对约束导致价值函数不连续时三种 HJI 求解策略的比较;作者报告混合监督与 PDE 约束的方法在车辆和无人机仿真中具有更好的泛化与安全表现,但其 BCI 适用性尚未验证。

来源:OpenReview · State space models · openreview.net