DuoRate：面向混合专家模型服务的双码率逐专家精度分配

基于摘要分析。DuoRate 研究混合专家（MoE）模型服务中存储精度与解码读取精度不一致的问题，提出在单一权重制品上，按工作负载分配逐专家读取精度的方法。其主要研究对象是大语言模型推理服务，而非 EEG/BCI。 核心机制：常驻存储需要容纳路由器可访问的全部专家，而 batch-one 解码每步只读取被选中的专家，因此两类开销对应不同的码率函数。作者将其差异称为 store-read gap，并报告已发布的 BitsMoE 检查点中，存储为每权重 2.54 比特（bpw），解码流量却对应 7.50 bpw。DuoRate 离线存储统一精度档位、可按前缀读取的权重流，并预先计算失真张量；在线利用当前工作负载自身的无标签 prefill 进行剖析，再针对解码码率函数求解拉格朗日率失真分配。作者称路由频率可从每个专家的决策中抵消，求解仅需每个专家一次点积及二分搜索；其假设与推导边界尚待全文核对。 作者报告，在 Qwen3-30B-A3B 上，DuoRate 以 2.3 bpw 读取时，平均 Accuracy 比各 2-bit 级基线高 6.3–47.0 个百分点；以 2.9 bpw 读取时，可匹配读取率高出 1.4–1.6 bpw 的 4-bit 格式。摘要未列出该平均值所覆盖的任务及完整评估协议。在长解码场景的 GSM8K 评估中，作者报告 2.9 bpw 配置匹配或超过全部受测 4-bit 格式，落后 BF16 仅 0.25 个百分点；2.6 bpw 配置仍匹配或超过 4.5-bit NF4 与 FP4。同格式对照中，作者报告仅精度分配机制即可带来 0.07–0.11 bpw 的读取率收益。 这些结果需区分权重读取率、实际内存流量与端到端延迟，不能直接等同于推理加速。实验协议、消融及统计信息尚未验证；代码计划在发表时发布，当前材料不支持确认已公开。摘要未提供与 EEG/BCI 的具体机制对应关系，不据此推断神经信号任务收益。