PixelMoE：利用 LLM 风格混合专家扩展像素空间扩散模型

基于摘要分析。PixelMoE 研究如何在直接建模原始图像、不依赖学习式 tokenizer 的像素空间扩散中，解除模型总容量与活跃计算量的紧密耦合。其核心贡献是将标准 LLM-style Mixture-of-Experts（MoE）引入像素空间生成，并结合沿去噪轨迹调整空间分辨率的 Pixel-Space Hierarchical Flow Matching。 机制上，PixelMoE 使用标准 Token-Choice（TC）路由与细粒度路由专家，实现输入自适应的稀疏计算；通过共享专家学习共通表征，并采用基于偏置的负载均衡策略。摘要明确指出，该框架不依赖扩散专用路由机制或辅助路由目标。分层 Flow Matching 则沿去噪过程改变空间分辨率，从全局结构形成逐步过渡到细节细化；具体调度与训练实现尚未验证。 作者报告，在相近活跃参数规模下，PixelMoE 在多个模型规模上均优于对应稠密模型。在 class-conditional ImageNet-1K 图像生成中，作者报告其在 256×256 和 512×512 分辨率下的 FID 分别为 1.49 和 1.56，且未使用表征对齐或感知损失。摘要未提供这些结果对应的具体模型规模、采样配置及完整对照，因此不能据此确认训练或推理总成本优势。 复现时需核对专家配置、活跃参数与总参数的统计口径、负载均衡实现、分辨率调度，以及 MoE 与分层 Flow Matching 各自的消融贡献；完整实验协议、消融及统计信息尚未验证。该研究的主要对象是图像生成，并非 EEG/BCI；材料未提供神经信号实验，相关工作也尚未检索确认。