诊断像素空间 Diffusion Transformers:从深度方向连接到逐层注意力模式
Diagnosing Pixel-Space Diffusion Transformers: From Depth-Wise Connectivity to Layer-Wise Attention Patterns
基于摘要分析。本文研究像素空间 Diffusion Transformers(DiTs)收敛慢、训练成本高及原生高分辨率训练困难的问题,从深度方向连接与逐层注意力模式两个方面开展诊断,并提出 Adaptive Connection Image Transformer(AceiT)。研究对象是像素空间图像生成模型,而非 EEG 或 BCI。 方法方面,摘要将深度方向连接和逐层注意力模式列为影响效率的两个潜在因素,但未给出 AceiT 的具体连接规则、注意力配置、损失函数或训练流程。作者报告,该方法能够加快收敛,减轻对 REPA 等表征对齐方法的依赖,并且不需要像素解码器等额外网络组件;这不等同于已经确认其在所有训练设置下均可替代表征对齐。 结果方面,作者报告,AceiT 在每样本低至 7 GFLOPs 的计算量下仍可可靠收敛,计算成本为 JiT-B/16 的四分之一。摘要未说明该计算量对应的分辨率、模型配置和核算范围,亦未提供同等生成质量下的完整比较。作者还报告,仅使用 8 张 A100 GPU,即可在 1024² 分辨率下从头预训练参数规模最高达 2.1B 的模型;训练时长、总训练计算量、数据集及生成质量指标尚未验证,不能仅凭 GPU 数量判断总体训练成本。 复现方面,作者表示将发布代码,不能据此认定代码已经开放。实验协议、消融及统计信息尚未验证,需结合全文核对两类结构因素的独立贡献,以及计算效率、收敛速度与生成质量之间的权衡。摘要不足以建立该图像生成机制与 EEG 瓶颈之间的具体对应关系,不据此推断 BCI 有效性。
值得关注其对像素空间 DiTs 深度方向连接与逐层注意力模式的诊断,以及降低高分辨率原生训练成本的设计,但具体机制、计算口径和生成质量对照尚待全文核验。
来源:OpenReview · State space models · openreview.net