释放对比正则化在扩散 Transformer 训练中的潜力

基于摘要分析。本文研究图像生成中的扩散 Transformer 训练，探讨标准 InfoNCE 对比学习能否成为有效的表征正则化方法，并提出 Clean Representation-Anchored Contrastive（CRAN）正则化，以干净样本的关系结构约束带噪表征的对比学习。 作者报告，直接使用 InfoNCE 正则化仅带来有限增益，其分析将原因归于噪声捷径：扩散输入中的近正交噪声分量能够扩大负样本对距离，同时削弱正样本对齐，在高噪声水平下尤其明显。CRAN 以干净样本的表征距离锚定对比学习中的离散化过程，将干净表征的关系语义结构传递给带噪表征，从而抑制由噪声驱动的过度离散。摘要未给出具体损失公式、表征提取方式及样本对构造细节。 作者报告，在 ImageNet 上覆盖不同模型规模与训练预算的实验中，CRAN 持续改善扩散 Transformer 训练，优于内部特征对齐及离散化正则化基线，并达到外部 DINO 引导的 REPA 的表现。摘要未提供具体指标、数值、数据划分或计算成本，因此这些结论不能用于定量比较；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 扩散模型的对比正则化同样依赖带噪表征间的距离，干净参考表征锚定可能有助于检验模型是否利用注入噪声而非任务结构。但原研究依赖图像干净样本与带噪表征之间的关系，EEG 的观测信号本身通常仍含噪声，参考表征及其跨被试、跨通道可比性均需改造；低信噪比与小数据也可能使锚定距离不可靠。一个可证伪的小实验是在固定 EEG 数据划分、扩散骨干与训练预算下，对比无正则化、朴素 InfoNCE 和 CRAN 式锚定，检查不同噪声水平下的正负样本距离与预设任务指标是否同步改善。已有 EEG 相关工作尚未检索确认。