跳到正文
OpenReview · Representation learning· Wei Duan; Jie Lu; Junyu Xuan·· 2024-12-15精选AI 评分72

面向多智能体强化学习的潜在时序稀疏协调图推断

Inferring Latent Temporal Sparse Coordination Graph for Multiagent Reinforcement Learning

AI 导读

基于摘要分析。本文研究合作式多智能体强化学习(MARL)中的智能体协调问题,提出潜在时序稀疏协调图 LTS-CG,利用历史观测学习智能体间的依赖关系,减少冗余或有害的信息交换,并缓解稠密协调图中动作对计算带来的扩展性限制。 机制上,LTS-CG 根据各智能体的历史观测计算智能体对概率矩阵,再从中采样稀疏图,用于智能体之间的知识交换,同时表征依赖关系与关系不确定性。方法还引入 Predict-Future 和 Infer-Present:前者用于预测后续观测,后者用于从有限数据中推断当前环境上下文。图学习与智能体训练以端到端方式同步进行。摘要未给出这两个组件的具体监督信号、损失形式或图采样实现。 作者报告,在 StarCraft II benchmark 上取得了优于对照方法的表现,但摘要未提供具体任务、基线、指标和数值。作者还称该图推断过程的计算复杂度仅与智能体数量有关;其具体复杂度阶数、所涵盖的计算环节,以及与动作空间规模的关系尚待全文核对。实验协议、消融及统计信息尚未验证。 平台推测(待验证):历史条件下的概率稀疏图可能为 EEG 通道间动态信息交换提供机制参考,但智能体交互不等同于电极信号依赖,原领域结果不能证明 BCI 有效性。若检验这一假设,可复用时序关系推断与稀疏采样机制,将策略学习替换为 EEG 任务目标,在相同跨被试划分下比较静态图、仅当前窗口构图与历史条件构图。主要风险是低信噪比、容积传导和通道配置变化导致伪连接,小数据也可能使概率图不稳定。相关 EEG 工作尚未检索确认。

阅读价值

值得关注的是利用历史观测推断带关系不确定性的稀疏协调图,并将图学习与策略训练端到端结合;其性能与计算开销优势仍需结合全文实验协议核对。

来源:OpenReview · Representation learning · openreview.net