跳到正文
OpenReview · Representation learning·· 29 天前精选AI 评分71

Spike-BiST:面向多智能体强化学习的脉冲表示与替代梯度双向稳定化

Spike-BiST: Bidirectional Stabilization of Spike Representation and Surrogate Gradient for Multi-Agent Reinforcement Learning

AI 导读

基于摘要分析。本文研究多智能体强化学习中脉冲神经网络策略的训练不稳定问题,提出 Spike-BiST,通过协调脉冲表示适应与替代梯度调节,应对多个智能体并行更新引起的观测分布和学习信号变化。其主要研究对象是多智能体决策策略,而非 EEG 解码或 BCI。 机制上,框架采用双通道自适应群体编码,使感受野适应观测,并维持不同训练条件下脉冲表示的一致性;同时引入可靠性驱动的调制机制,将强化学习信号与脉冲动力学结合,以降低替代梯度传播中的波动。摘要未提供双通道的具体定义、可靠性计算方式、调制公式及训练配置,因而尚不能判断两部分如何耦合及各自的独立贡献。 作者报告,在 SMAC、GRF 和 MPE 上,Spike-BiST 改善了任务表现与训练稳定性,且策略网络的估算推理能耗低于 ANN 模型。摘要未给出具体任务配置、对照模型、结果数值及能耗估算口径;实验协议、消融及统计信息尚未验证。这里的能耗结果属于估算,不能等同于实际硬件上的测量收益。 其稳定化机制针对多智能体策略更新造成的非平稳性,不能直接等同于 EEG 中的跨被试或跨会话分布变化。材料尚未建立从该机制到 EEG/BCI 任务的具体对应关系,因此不据此提出迁移效果或复现实验建议;相关 EEG 工作尚未检索确认。

阅读价值

值得核对其脉冲表示适应与替代梯度调节的协同机制,以及多智能体训练稳定性和推理能耗估算的评估依据;摘要尚不支持 EEG/BCI 有效性判断。

来源:OpenReview · Representation learning · openreview.net