对齐什么、何时对齐:面向像素空间扩散的层级解耦表征对齐
What and When to Align: Hierarchy-Decoupled Representation Alignment for Pixel-Space Diffusion
基于摘要分析。本文研究如何利用预训练视觉表征加速像素空间扩散模型训练,提出 HierarchY-Decoupled Representation Alignment(HYDRA),按语义作用解耦对齐监督,并使对齐适应不同扩散时间步的表征变化。 作者报告,具有更强组件级语义的对齐目标与生成质量在训练早期更快改善相关,而类别级语义在整个训练过程中提供互补的对象级监督。HYDRA 据此将监督拆分为 Scaffold 和 Anchor 两类对齐;摘要未明确两者与语义层级的具体对应及损失形式。此外,Position-wise Feature Centering 用于缓解预训练目标特征中的位置相关偏置,timestep-conditioned projector 用于适配随扩散时间步变化的表征。其核心思路不是把预训练特征视为统一目标,而是同时考虑监督内容与介入时机。 在 ImageNet、使用 classifier-free guidance 的评估背景下,作者报告:JiT-B/16 用少至基线三分之一的训练轮数达到基线水平 FID,并进一步达到 FID 3.15;JiT-H/16 的最终 FID 从 1.86 改善至 1.74。预训练表征来源、具体基线与训练配置、FID 评估细节、消融及统计信息尚未验证,不能据摘要判断各模块的独立贡献。 平台推测(待验证):若将该思路用于 EEG 扩散生成,潜在对应是不同时间尺度或空间尺度的表征可能提供不同层级监督,而噪声时间步可能影响适宜的对齐目标。可借鉴分层监督与时间步条件化投影,但需重新定义 EEG 的语义层级,并改造特征提取与位置中心化方式;视觉空间位置偏置不等同于 EEG 通道差异。低信噪比、跨被试变化、通道布局不一致及小数据训练都可能使预训练目标引入无关偏置。一个可检验的假设是:在固定 EEG 数据划分、骨干和训练预算下,比较统一对齐与分层、时间步条件化对齐,后者能否稳定改善预先指定的生成质量与下游任务指标。已有 EEG 相关工作尚未检索确认。
值得核对 HYDRA 对语义层级、位置偏置与扩散时间步的分别处理,以及其在 ImageNet 上报告的训练效率和 FID 改善;这些结果尚不能直接支持 EEG/BCI 有效性。
来源:OpenReview · Representation learning · openreview.net