跳到正文
OpenReview · Representation learning· Junno Yun; Yasar Utku Alcalar; Mehmet Akcakaya·· 2025-09-20精选AI 评分78

生成无需对齐:在扩散模型中学习线性可分表征

No Alignment Needed for Generation: Learning Linearly Separable Representations in Diffusion Models

AI 导读

基于摘要分析。本文研究大规模扩散模型训练中如何提升中间表征的判别能力,提出促进线性可分性(Linear Separability,LSEP)的训练正则化,以替代依赖外部预训练编码器的表征对齐。核心贡献是将线性探测直接纳入网络学习过程,而不只将其作为训练后的表征评估工具。 机制与对照:摘要将依赖强大外部编码器的表征对齐方法作为主要参照,指出此类编码器的获取成本较高。LSEP 直接约束中间层表征,作者称其无需辅助编码器或表征对齐。具体损失形式、监督信号、作用层位置、正则化权重及额外计算开销尚未验证,不能据摘要推断其实现结构。 结果:作者报告,在 SiTs 等基于流的 Transformer 架构上,LSEP 改善了训练效率与生成质量;在 ImageNet 的 256 × 256 和 512 × 512 图像生成评估中,分别取得 FID 1.44 和 1.66。摘要未提供这些结果对应的具体模型规模、训练预算、采样设置、评估样本数及对照分数,因此尚不能量化其相对收益或判断比较条件是否一致。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 LSEP 的实现允许在生成训练中加入任务相关的线性判别约束,可假设其有助于 EEG 生成模型保留类别信息;这不是本文已验证的结论。可复用的是中间表征正则化思路,需要改造的是 EEG 输入表示、生成目标及与任务标签或其他监督信号的接口。低信噪比、通道差异和小样本可能使线性可分性约束偏向被试或采集条件,而非目标任务。一个可证伪的小实验是在相同数据划分、架构与训练预算下比较有无 LSEP 的 EEG 生成模型,分别检查留出被试上的表征判别能力与生成信号质量,避免仅凭训练集线性探测提升判断有效。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 LSEP 如何将线性探测纳入生成模型训练并替代外部编码器对齐,尤其是生成质量收益与训练开销的对照;其对 EEG/BCI 的价值尚未验证。

来源:OpenReview · Representation learning · openreview.net