SpeeDiff:可扩展的像素锚定端到端潜空间扩散模型
SpeeDiff: Scalable Pixel-Anchored End-to-End Latent Diffusion Model
基于摘要分析。SpeeDiff 研究图像生成中 VAE 与扩散模型从零联合训练的问题,核心贡献是 Tweedie Pixel Reconstruction(TPR)损失:通过额外的像素级反馈,缓解扩散损失直接反向传播至编码器时产生的潜空间塌缩。本文并非 EEG 或 BCI 方法,原任务是 ImageNet 图像生成。 传统两阶段方案使用预训练并冻结的 VAE;联合训练则允许扩散损失引导 VAE 编码器,使潜空间适应生成任务,但摘要指出,朴素端到端实现会严重降低性能。TPR 利用 Tweedie's formula,从中间带噪状态预测干净潜变量,再经解码器重建图像并提供像素级反馈。作者还提出联合扩展全 Transformer 架构,并增强端到端框架内的表征对齐;具体损失形式、梯度路径和对齐实现尚未验证。 作者报告,在 ImageNet 256×256、无 guidance 的生成条件下,SpeeDiff-XL 达到 FID 1.50,相比 Vanilla SiT 和 REPA 的训练分别快逾 140 倍和 61 倍。摘要未说明加速倍数对应训练步数、时间还是计算量,以及是否按相同目标质量比较,不能直接解释为等预算下的优势。作者另报告,采用压缩率为 32× 的 VAE,在 ImageNet 512×512、无 guidance 条件下达到 FID 1.53;两个分辨率的结果不宜直接作性能高低比较。 平台推测(待验证):若将联合潜空间扩散用于 EEG 生成,TPR 的原始信号域反馈可能提供一种约束潜空间退化的路径。该假设依赖可训练的编码器、解码器及足量 EEG 数据;可尝试复用联合训练与重建反馈机制,但需将像素级重建改为适合多通道时序的约束,并验证其是否保留生理信号而非噪声。低信噪比、通道布局差异、跨被试变异和小数据均可能削弱效果。一个可证伪的小实验是在固定 EEG 数据划分、模型容量与训练预算下,对比冻结 VAE、朴素联合训练及加入重建反馈的联合训练,检查潜空间退化、生成信号质量和独立下游评估,而不将图像 FID 改善视为 BCI 有效性证据。 全文、实验协议、消融及统计信息尚未验证;代码和复现配置未由材料提供。已有 EEG 相关工作尚未检索确认。
值得核对其 TPR 损失如何缓解 VAE 与扩散模型联合训练中的潜空间塌缩,以及训练加速的计量和对照条件;对 EEG 生成的价值尚未验证。
来源:OpenReview · State space models · openreview.net