MA2CL:面向多智能体强化学习的掩码注意力对比学习
MA2CL: Masked Attentive Contrastive Learning for Multi-Agent Reinforcement Learning
基于摘要分析。本文研究多智能体强化学习(MARL)中的表征学习:各智能体只能获得受其他智能体影响的局部观测,观测在智能体维度上存在相关性,单智能体场景中的自监督辅助任务因而需要考虑智能体级信息。作者提出 Multi-Agent Masked Attentive Contrastive Learning(MA2CL),通过在潜在空间重建被掩码的智能体观测,促进表征同时具备时间与智能体层面的预测能力。 机制上,MA2CL 使用注意力重建模型恢复被掩码观测的潜在表征,并通过对比学习训练该模型,以利用智能体间的上下文信息,辅助合作任务中的 MARL 训练。摘要未给出掩码策略、对比样本构造、损失具体形式,以及辅助任务与强化学习目标的联合优化方式,这些内容尚未验证。 作者报告,在多种基于视觉和基于状态的场景中,MA2CL 提升了不同 MARL 算法的性能与样本效率,并优于其他方法。摘要未列出环境名称、具体基线、指标、数值及重复实验设置,实验协议、消融及统计信息尚未验证,不能据此量化收益或判断改进主要来自哪个模块。 平台推测(待验证):其“利用相关观测重建缺失潜在表征”的机制可作为 EEG 多通道自监督学习的候选思路,但这是假设,不是本文已验证的 BCI 结果。原方法依赖多智能体局部观测、时间关系及强化学习交互;EEG 通道并非智能体,需要改造观测编码、掩码单位和对比样本定义。低信噪比与通道冗余可能使重建偏向共享噪声,跨被试差异及小数据也可能削弱对比学习。可在固定 EEG 数据划分与编码器下,比较仅时间上下文和加入通道上下文的掩码对比学习,检验其在通道缺失条件下的下游表现。相关 EEG 工作尚未检索确认。
值得核对其如何通过智能体级掩码重建与对比学习利用相关观测,以及该辅助任务对不同 MARL 算法样本效率的贡献;摘要所述改进仍需结合完整实验协议验证。
来源:OpenReview · Representation learning · openreview.net