FORGE：用于 Sparse MoE 推理的程序化权重生成

基于摘要分析。FORGE 面向自回归 Sparse Mixture-of-Experts（MoE）解码中的权重存储与传输瓶颈，通过紧凑 rotor 参数在线重建专家 FFN 权重，减少从 HBM 加载完整权重的需求；其贡献包含权重近似机制与配套的固定功能硬件数据通路，而非 EEG 或 BCI 专用方法。 核心机制：作者提出，每个投影使用 O(log² d) 个 rotor 参数，在 Streaming Multiprocessor（SM）内部即时生成权重块。作者报告，对每个被替换层，可用不足一兆字节的种子近似原本数吉字节的专家权重。Rotor Generation Unit（RGU）负责生成 FFN 权重块，不与 Tensor Core 执行争用。该设计针对两类瓶颈：路由 token 数较少时，单个专家 FFN 受 HBM 带宽限制；专家总体存储占用过大时，需要多节点 Expert Parallelism（EP），带来 all-to-all 通信。 结果与代价：在五个 Sparse MoE 模型中替换 30% 的 MoE FFN 层时，作者估计，相同 GPU 数量下系统吞吐量为原方案的 1.3–2.8 倍，短上下文条件下单用户解码延迟改善倍数为 1.10–1.15。作者同时报告，三个模型家族的下游准确率低于同一模型在不进行 rotor 替换时的微调结果，替换比例控制效率与准确率之间的权衡。作者另报告 KV cache 容量可扩大至 1.2–2.6 倍，并称该机制不依赖权重存储位宽，可与量化组合。 实现与核验：作者报告 RGU 已用 SystemVerilog 完整实现并验证，在 7nm 条件下面积为 0.032 mm²/SM，约占 SM 面积的 0.9%；这不等同于已有实芯片端到端测量。具体模型、任务、准确率指标、rotor 参数优化方式、吞吐估计方法及对照配置尚未验证，实验协议、消融及统计信息尚未验证。摘要未提供其与 EEG/BCI 任务的具体机制对应，因此不据此推断 BCI 有效性或提出迁移复现实验。