跳到正文
OpenReview · State space models· Zhihao Liu; Xianliang Yang; Zichuan Liu; Yifan Xia; Wei Jiang; Yuanyu Zhang; Lijuan Li; Guoliang Fan; Lei Song; Jiang Bian·· 2024-01-01精选AI 评分75

知道不该做什么:利用语言模型洞见对多智能体强化学习的动作空间进行剪枝

Knowing What Not to Do: Leverage Language Model Insights for Action Space Pruning in Multi-agent Reinforcement Learning

AI 导读

基于摘要分析。该研究针对多智能体强化学习(MARL)中智能体数量增加导致联合动作空间组合爆炸的问题,提出 Evolutionary action SPAce Reduction with Knowledge(eSpark)。其核心贡献是利用大语言模型(LLMs)生成探索函数,剪除冗余或无关的状态—动作对,并通过策略反馈自主改进,以辅助 MARL 的探索与学习。 机制方面,eSpark 以描述整体任务和环境的基础提示为输入,零样本生成探索函数。相比依赖人工设计先验知识或特定问题结构的动作空间压缩方法,作者试图降低剪枝规则的人工设计负担。摘要未说明探索函数的具体表示、策略反馈如何驱动更新,以及如何避免误删关键动作;这些机制细节尚未验证。 作者报告,在库存管理与交通信号控制两类任务、合计 15 个场景中,eSpark 在全部场景中优于其所结合的 MARL 算法,两类任务的平均性能增益分别为 34.4% 和 9.9%。作者还报告,在超过 500 个智能体的可扩展性挑战中取得 29.7% 的性能提升。摘要未给出这些增益对应的具体评价指标、基线配置、训练预算或随机种子,因此不能将其解释为 Accuracy 提升,也不能直接比较不同任务的增益。 复现时可核对来源提供的代码,重点检查 LLM 与提示设置、生成函数的执行约束、反馈更新流程、剪枝后动作覆盖情况,以及生成与评估的额外成本。实验协议、消融及统计信息尚未验证。原论文研究对象是多智能体决策,并非神经信号解码;材料不足以建立具体 EEG/BCI 迁移路径,已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是以 LLM 生成探索函数、再利用策略反馈改进行动空间剪枝的机制;作者报告其在库存管理与交通信号控制任务中取得收益,但剪枝可靠性及对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net