先净化再对齐:改进扩散模型的表征对齐
Purify Before You Align: Improving Representation Alignment for Diffusion Models
基于摘要分析。本文研究图像扩散训练中的表征对齐:将中间特征对齐到预训练视觉编码器时,哪些目标信息更有利于生成?作者提出 local appearance purification(LAP,局部外观净化),移除对齐目标中可由局部外观预测的内容,转而对齐其残差;该方法仅修改对齐目标,无需改变扩散训练或推理流程。 机制与理论方面,作者通过同一编码器内的受控干预指出,对齐效果取决于目标强调的信息,而不只是其包含的图像信息量。作者还给出标准对齐的变分解释,并在局部预测器固定的条件下,推导以局部外观为条件、逐 token 求和的信息界。为解释不同编码器的收益差异,作者提出精确的 constant-readout 检验,衡量不使用扩散模型隐藏状态时,对齐目标仍可被匹配到何种程度。摘要未提供局部预测器、残差构造及损失的具体实现。 作者报告,LAP 在 MAE、AIMv2、CLIP、DINOv2、DINOv3 五种预训练表征上均改善生成质量,其中 MAE 收益最大:在 ImageNet-256、SiT-B/2 配置下,FID 从 53.1 降至 42.3。作者报告,在更强的对齐方案和 tokenizer 下仍有收益;在扩散训练前计算的 constant-readout 分数,与 13 个编码器的净化收益之间具有 Spearman ρ=0.94 的相关性。具体训练预算、评估采样设置、消融及统计信息尚未验证。 平台推测(待验证):若将该机制用于 EEG 条件生成,可检验的假设是,净化视觉教师目标中的局部外观信息,可能减少对 EEG 难以支持的细节的对齐要求。可复用部分是目标残差化与 constant-readout 诊断,但需改造为适合 EEG 条件和时空结构的预测器;低信噪比、小数据、跨被试及通道差异可能使局部预测不稳定,或误删任务相关信息。最小验证可在固定 EEG 条件生成模型及相同划分下,仅比较原始与净化视觉目标,并检查收益是否跨被试保持。此为迁移假设而非本文结论,已有 EEG 相关工作尚未检索确认。
值得核对 LAP 的目标净化机制与 constant-readout 诊断:作者通过固定编码器内的受控干预,研究对齐目标的信息组成如何影响扩散生成,但其对 EEG/BCI 的适用性尚未验证。
来源:arXiv · 多模态与生成机制 · arxiv.org