残差流负担塑造 Diffusion Transformers 的表征学习

基于摘要分析。本文研究像素空间扩散生成中，预测目标如何与架构共同影响 Diffusion Transformers 的表征学习，并提出“残差流负担”这一机制解释。作者指出，尽管干净数据、噪声和速度预测目标可以相互转换、描述同一生成过程，采用大像素 patch 的普通 Diffusion Transformers 在干净数据预测上成功，却在噪声或速度预测上失败。 其核心解释是：含噪目标要求残差流在网络深度方向持续保留依赖输入噪声的变化，供最终读出使用，迫使后续层在含噪表征上计算；频谱集中的干净目标则施加较轻的保留需求，使隐藏表征有更大的组织自由。作者报告，受控实验表明，可利用的结构来自 patch 空间中的频谱集中性，而持续保留的残差状态带宽是含噪预测的关键资源。作者还认为，近期解耦式像素空间架构的不同设计均减轻了主路径的残差流负担，与该解释一致。 为从架构方向检验这一解释，作者提出 Spatially Indexed Hyper-Connections（SiHC），直接扩展并重组残差流带宽。作者报告，该方法在 ImageNet 256×256 图像生成中达到 FID 1.71；摘要未提供对应训练规模、采样设置、对照结果及统计信息，尚不能据此判断性能提升幅度或计算成本。 平台推测（待验证）：若 EEG 扩散建模也需要残差状态长期保留目标所要求的噪声变化，这一机制可能有助于解释去噪目标与架构的适配关系。但其依赖的 patch 频谱结构和带宽定义不能直接照搬到低信噪比、多通道 EEG；具体模块改造与迁移价值仍待评估，已有 EEG 相关工作尚未检索确认。全文中的实验协议、消融及统计信息尚未验证。