面向智能体强化学习的 MoE 专家选择结构化

基于摘要分析。本文研究长时程 LLM 智能体的强化学习后训练如何与稀疏 mixture-of-experts（MoE）专家选择协同设计，提出利用智能体轨迹中的操作结构进行分层路由控制，以优化专家容量的使用。 核心机制：作者观察到，现成 MoE 模型的专家选择具有与智能体轨迹对应的专门化结构：执行语义相似操作（如 READ、UPDATE）的不同轮次，其专家路由重叠程度高于执行不同操作的轮次。作者认为，标准 RL 算法未显式利用这一结构，训练期间路由缺乏控制，会限制任务表现和推理效率。提出的框架在轮次层面鼓励专家选择与智能体操作对齐，在 token 层面通过正则化维持局部一致性，并引入 entropy-gated control 机制缓解所提方法在后训练中产生的稳定性问题。具体目标函数、操作信号来源、熵门控定义及训练开销尚未验证。 结果与证据边界：作者报告，在全部已评估基准上，路由控制框架带来超过 10 个百分点的成功率提升。摘要未提供基准名称、具体对照、数据划分、模型规模或各项成功率，因此这一结果只能在作者所述评估范围内理解，不能据此判断跨任务泛化程度。推理效率的量化收益、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：该机制的适用前提是存在可识别的操作结构，并采用可控制专家路由的 MoE 模型。若迁移到 EEG/BCI，需要先验证任务是否具备类似的操作级结构；低信噪比、被试差异和小数据可能使路由对齐捕捉伪相关，而非稳定的任务结构。原领域结果不构成 EEG/BCI 有效性的证据，相关 EEG 工作尚未检索确认。