BRANCH-MoE：面向大型嵌入模型的均衡感知树路由

基于摘要分析。BRANCH-MoE 针对 MoE 平面路由中专家利用不均衡、专家索引缺乏拓扑含义的问题，将专家组织为二叉决策树，通过节点流量感知的分支机制促进负载均衡，并使专家共激活与设备通信具有可利用的局部结构。 核心机制是将 E 个专家置于深度为 log₂ E 的二叉树叶节点。在每个内部节点，分支概率以到达该节点流量的加权平均得分为中心；该均值通过指数移动平均估计，以促进两个子树均被利用，无需辅助负载均衡损失。摘要未提供分支概率的具体函数、任务损失或训练流程细节。 理论方面，作者报告分析了移动平均估计的噪声—滞后权衡；在线性节点映射、到达分布为对数凹分布的条件下，证明该机制可防止路由概率质量塌缩。此外，在路由器冻结的前提下，作者建立了专家执行频率与其随机梯度收敛速度的关系；当专家按树前缀分配到设备时，靠近根节点的高置信度决策可约束跨设备通信。这些结论需结合各自假设理解，不能直接推广到任意动态路由或数据分布。 实验采用 E=16、top-4 路由和五个随机种子，在 Criteo 点击率预测、Forest Covertype、HIGGS 与 YearPredictionMSD 上，对比 Switch softmax、DeepSeek-V3 dynamic-bias、Skywork logit-normalized 及确定性 hash routing。作者报告，层次路由能够保持任务质量和均衡利用，同时形成支持专家局部共激活、降低通信的拓扑。摘要未给出具体指标、数值、数据划分或通信测量条件；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：迁移假设是，树路由可用于含 MoE 的 EEG 表征模型，以缓解专家利用不均并组织计算，但原实验不构成 BCI 有效性证据。可复用树结构与移动平均机制，需改造 EEG 输入编码及路由得分模块；低信噪比、小数据和跨被试分布变化可能使均值估计滞后，负载均衡也不等同于有效专家分工。可在固定 EEG 编码器、相同专家数及激活预算下，对比树路由与平面路由，采用固定跨被试划分，同时记录任务指标、专家利用率和路由稳定性，检验均衡收益是否伴随预测质量保持。相关 EEG 工作尚未检索确认。