结合表征自编码器的 MeanFlow Transformers

基于摘要分析。本文研究图像生成中 MeanFlow（MF）的训练稳定性与计算效率，提出在 Representation Autoencoder（RAE）的潜空间中训练和采样 MF，以预训练视觉编码器提供的语义表征及轻量解码器替代常用的 Stable Diffusion 变分自编码器（SD-VAE），并结合初始化与蒸馏方案改善一步生成。 MF 通过学习从噪声到数据的长距离跳跃实现少步生成。作者指出，常用 SD-VAE 潜空间方案仍存在训练开销大、训练不稳定、解码成本高，以及类别条件生成依赖复杂 guidance 超参数的问题；直接迁移到 RAE 潜空间又会出现严重梯度爆炸。为此，方法采用 Consistency Mid-Training 进行轨迹感知初始化，先从预训练 flow matching 教师蒸馏以加快收敛、降低方差，再可选地使用带单点速度估计器的 bootstrapping 阶段，减少对理想平均流的偏离。作者称该设计无需 guidance，并简化训练配置。 作者报告，在 ImageNet 256 的一步生成评估中，方法的 FID 为 2.03，vanilla MF 为 3.43；同一摘要所述比较中，采样 GFLOPS 降低 38%，总训练成本降低 83%。在 ImageNet 512 上，作者报告一步生成 FID 为 3.23，且 GFLOPS 低于所比较的全部基线。具体评估样本数、成本核算边界、基线配置、消融及统计信息尚未验证，不能据此将不同分辨率结果直接比较。摘要提供了代码仓库，但实现及复现条件尚未核验。 平台推测（待验证）：若研究目标是 EEG 潜空间生成，其可借鉴机制是以表征编码器构建潜空间，再通过教师蒸馏与轨迹初始化稳定少步生成，而非将图像模型直接视为 BCI 解码器。该假设依赖足够可靠的 EEG 表征和预训练教师，需改造编码器、解码器及条件输入；低信噪比、通道差异、跨被试分布偏移和小数据可能削弱表征质量或放大蒸馏误差。可在固定 EEG 数据划分与教师的条件下，对比有无轨迹感知初始化的训练稳定性、重建质量和计算成本。已有 EEG 相关工作尚未检索确认。