跳到正文
OpenReview · State space models· Zhihao Liu; Xianliang Yang; Zichuan Liu; Yifan Xia; Wei Jiang; Yuanyu Zhang; Lijuan Li; Guoliang Fan; Lei Song; Jiang Bian·· 2025-06-09精选AI 评分76

知道哪些动作不该做:利用语言模型洞见进行多智能体强化学习动作空间剪枝

Knowing What Not to Do: Leverage Language Model Insights for Action Space Pruning in Multi-agent Reinforcement Learning

AI 导读

基于摘要分析。本文研究多智能体强化学习(MARL)中随智能体数量增加而出现的动作空间组合爆炸,提出由大语言模型(LLMs)驱动的探索函数生成框架 Evolutionary action SPAce Reduction with Knowledge(eSpark),通过剪除冗余或无关的状态—动作对改善探索,并利用策略反馈持续改进。 核心机制是以描述总体任务与环境设置的基础提示为输入,零样本生成探索函数,再通过策略反馈实现自主改进。相较于依赖人工先验或特定问题结构的动作空间压缩方法,作者希望降低规则设计负担。摘要未说明探索函数的具体形式、动作约束的执行方式、反馈如何驱动函数更新,以及剪枝与所结合 MARL 算法的训练接口,这些机制细节尚未验证。 作者报告,在库存管理和交通信号灯控制两类任务、合计 15 个场景中,eSpark 在所有场景均优于与其结合使用的 MARL 算法;两类任务的平均性能增益分别为 34.4% 和 9.9%。作者还报告,在包含超过 500 个智能体的可扩展性挑战中,性能提升为 29.7%。摘要未明确性能指标、增益计算方式、基线配置及随机重复次数,因此这些相对收益不能解释为 Accuracy 或百分点提升,也不宜跨任务直接比较。 复现时应核对提示与 LLM 配置、探索函数更新流程、剪枝错误的纠正机制,以及性能收益与额外生成成本之间的关系。摘要提供了代码仓库地址,但代码完整性、运行条件、实验协议、消融及统计信息尚未验证。 研究的主要对象是库存管理与交通控制中的 MARL,而非神经信号建模。现有材料未建立动作剪枝与 EEG 解码瓶颈的具体对应关系,因此不据此提出 BCI 迁移效果或复现实验建议;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 eSpark 如何将 LLM 生成的动作剪枝规则与策略反馈结合,以及剪枝是否误删有效动作;摘要提供了多场景收益,但尚不能据此判断其对 EEG/BCI 的适用性。

来源:OpenReview · State space models · openreview.net