重新思考原生像素扩散 Transformer 的设计空间
Rethinking the design space of Vanilla Pixel Diffusion Transformers
基于摘要分析。本文研究直接在像素空间生成图像与视频的扩散 Transformer,重点考察预测参数化的选择及生成结果的高频不足,而非 EEG 或 BCI。作者提出自适应参数化 MFlow,以及在扩散骨干冻结后训练的轻量卷积模块 ConvRefiner,分别处理预测目标选择与高频统计恢复问题。 像素空间扩散避免了潜在空间扩散中的有损表示瓶颈和单独训练的自编码器。以 JiT 使用干净图像预测(x₀-prediction)替代速度预测(u-prediction)为背景,MFlow 在数据主方向上学习两种预测形式之间的插值,相关方向随扩散训练端到端学习。作者报告,参数化偏好随数据表示和模型容量系统性变化,尤其是容量增加时更偏向速度预测;摘要未给出主方向的具体表示、插值约束或训练损失细节。 作者在 ImageNet、UCF-101 视频及大规模文本到图像生成场景中评估 MFlow,并报告具有竞争力或更好的生成表现,但摘要没有提供数值、具体对照配置及评估协议。作者还报告,不同参数化的原生像素扩散 Transformer 相对真实图像均存在持续的高频不足。ConvRefiner 使用对抗损失进行后续训练,同时冻结扩散骨干;作者报告,以少量额外训练即可恢复生成图像的高频统计,并保持 FID。额外训练成本、高频统计定义、FID 变化及消融和统计信息尚未验证。 平台推测(待验证):MFlow 对预测目标的自适应选择可作为 EEG 信号生成的机制假设,但原文证据仅涉及视觉生成,不能视为 BCI 有效性证据。若迁移,需要将像素表示与卷积结构改为适配通道—时间信号的形式;低信噪比和小数据可能使主方向更多反映伪迹,高频增强也可能放大肌电噪声。一个可证伪的小实验是在固定 EEG 数据划分、模型容量及训练预算下,比较 x₀-prediction、u-prediction 与自适应插值,检验频谱保真度及独立被试上的任务效用。已有 EEG 相关工作尚未检索确认。
值得核对 MFlow 的参数化偏好如何随数据表示与模型容量变化,以及 ConvRefiner 恢复高频统计时是否兼顾生成质量;这些结论目前仅有摘要层面的作者报告。
来源:arXiv · 多模态与生成机制 · arxiv.org