在对比表征空间中促进度量感知的多样性
Encouraging metric-aware diversity in contrastive representation space
基于摘要分析。本文研究合作式多智能体强化学习(MARL)中共享策略网络参数导致行为趋同、探索受限的问题,提出 Wasserstein Contrastive Diversity(WCD),通过增大不同智能体在潜在表征空间中的轨迹分布 Wasserstein 距离,促进策略多样性与合作探索。 核心机制是先学习可区分的轨迹表征,再以分布距离鼓励多样性。作者认为,已有方法在策略相似时难以获得有效的 Wasserstein 距离信号,因此引入基于 Contrastive Predictive Coding(CPC)的下一步预测方法,改善轨迹表征的可区分性。此外,作者提出优化的核方法以提高 Wasserstein 距离计算效率,并将原本面向两个分布的距离扩展到多个智能体。具体预测目标、对比样本构造、距离估计公式以及多智能体聚合方式尚未验证。 作者报告,在多种具有挑战性的多智能体任务中,WCD 优于所比较的现有方法,并增强探索。但摘要未给出任务名称、指标、结果数值、对照配置或计算开销,尚不能判断优势幅度及适用边界。实验协议、消融及统计信息尚未验证;复现还需核对轨迹采样方式、参数共享设置、训练细节及实现是否公开。 本文的主要研究对象是合作式 MARL,而非 EEG 或 BCI。其多样性目标依赖不同智能体的轨迹分布与合作任务结构,不能直接等同于跨被试表征对齐或神经信号解码。材料尚不足以建立具体的 BCI 迁移路径,相关 EEG 工作也尚未检索确认。
值得核对其如何通过 CPC 轨迹表征使 Wasserstein 距离具有有效的区分能力,以及多智能体距离扩展与核方法近似是否确实改善探索;摘要中的性能优势尚需全文实验支持。
来源:OpenReview · State space models · openreview.net