Oracle-MoE：面向内存受限大语言模型推理的 Oracle 空间局部性保持路由

基于摘要分析。本文研究内存受限设备上 MoE 大语言模型推理的延迟问题，提出 Oracle-MoE，通过在注意力分数指示的紧凑 oracle space 中进行 token 路由，保持连续 token 的语义局部性，减少专家激活变化及专家换入换出需求。 作者将主要瓶颈归因于相邻 token 之间专家激活在时间上的不一致：尽管每次推理仅激活少量专家，专家集合的频繁变化仍可能产生大量内存换入换出，使数据搬运主导延迟。Oracle-MoE 的核心不是单纯减少激活专家数量，而是提高连续 token 路由的局部性与专家激活一致性。作者称理论分析证明了其路由在语义局部性及专家激活一致性上的优势；具体假设、界限及证明条件尚未验证。 作者报告，在不同规模的预训练 GPT-2 架构（200M、350M、790M、2B）及下游任务上，Oracle-MoE 在不损害任务性能的情况下，在多种内存预算下取得其所称的最先进推理速度。摘要未提供具体任务、性能指标、延迟数值、硬件与存储配置、内存预算或对照方法，因此尚不能量化加速收益或比较不同部署条件。训练与路由实现、实验协议、消融及统计信息尚未验证。 研究对象是 LLM 的专家路由与部署效率，并非 EEG/BCI 信号建模。其收益依赖 token 序列的语义局部性、专家驻留机制及换入换出成本，不能直接视为 BCI 有效性证据；对 EEG/BCI 的适用性尚待评估，相关工作尚未检索确认。