跳到正文
OpenReview · Representation learning· Yat Long Lo; Biswa Sengupta; Jakob N. Foerster; Michael Noukhovitch·· 2023-01-01精选AI 评分73

使用对比学习学习通信

Learning to Communicate using Contrastive Learning

AI 导读

基于摘要分析。本文研究多智能体强化学习中如何形成有效的共同通信语言,尤其关注去中心化场景。作者将智能体发送的消息视为环境状态的不同不完整视图,通过对比学习提升同一轨迹中消息之间的互信息,以学习支持协调的通信表征。 核心机制是利用发送与接收消息之间的关系,将消息不仅作为交互动作,也作为环境信息的编码。摘要明确了轨迹内消息关联与互信息最大化的思路,但未提供具体损失形式、正负样本构造、消息空间,以及通信目标与强化学习目标的组合方式;这些实现细节尚未验证。 作者报告,在必须依赖通信的环境中,该方法相较既有工作取得更好的任务表现与更快的学习速度;通过定性指标及表征探测,作者报告其形成了更对称的通信,并捕获了环境的全局状态信息。摘要未列出环境名称、对照方法、数值结果或“通信对称性”的操作定义,因此尚不能判断收益幅度与适用边界。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将同步 EEG 通道组视为潜在脑状态的不完整观测,其多视图对比学习思想可能用于研究跨通道表征一致性;这只是机制类比,并非本文验证的 EEG 或 BCI 贡献。可复用的是视图间表征关联目标,需改造的是消息生成与轨迹配对机制。EEG 的低信噪比、通道差异及被试差异可能使对比目标优先捕获共享伪迹,而非任务信息。一个小规模可证伪实验是在固定数据划分与编码器下,对比加入和不加入同步通道组对比目标的下游表现,并检查收益是否依赖共享伪迹。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将智能体消息视为环境状态不完整视图、通过对比学习建立通信表征的机制,但性能与学习速度优势仍需结合全文实验协议核对。

来源:OpenReview · Representation learning · openreview.net