为何缺少长跳跃连接的 DiT 模型在表征学习中表现不佳

基于摘要分析。本文研究视觉生成与理解统一中的一个问题：DiT 的生成能力较强，为何其中间激活提取出的扩散特征仍可能较弱？作者报告，通过受控的从零训练对照，加入长跳跃连接（LSCs）的 DiT 可以获得更好的特征，并提出与扩散预测目标相关的机制解释。 核心机制是图像信息与扩散噪声信息的传递路径。按作者解释，扩散骨干的输入同时包含潜在图像与扩散噪声，后者承载扩散轨迹信息；预测 v 或 ε 时，两类信息都不可少。如果二者始终沿主干传递，噪声信息会“污染”图像表征。LSCs 则可将噪声信息直接送往需要它的位置，使主干保留较弱的噪声信号，从而改善特征质量。这一解释将 LSCs 的作用与扩散目标联系起来，而非仅将其视为架构技巧。 摘要未给出数据集、特征评估任务与指标、模型规模、训练预算或具体增益，因此不能量化其效果，也无法确认生成质量与表征质量之间的权衡。复现时需核对从零训练对照的配置一致性、特征提取层与扩散时间步，以及支持噪声传递解释的诊断方法；实验协议、消融及统计信息尚未验证。摘要提供了代码地址，但实现内容及可复现性尚未核验。 平台推测（待验证）：若将扩散骨干用于 EEG 表征学习，可检验利用独立路径传递扩散噪声、减轻主干同时编码去噪辅助信息与任务相关信号负担的假设。可复用的是 LSCs 的信息路由思路，输入表示与时空结构需适配 EEG；低信噪比、小数据及跨被试差异可能使视觉领域的机制不再成立。一个小规模检验是在相同 EEG 数据划分、扩散目标与训练预算下，对照有无 LSCs 的特征线性探测表现，并检查不同噪声水平下结果是否稳定。该假设不是已验证的 BCI 效果，已有 EEG 相关工作尚未检索确认。