跳到正文
OpenReview · Representation learning· Yuehao Wang; Peihao Wang; Hanwen Jiang; Ziyi Yang; Qixing Huang; Zhangyang Wang·· 2026-05-01精选AI 评分76

重新审视生成式扩散模型中的谱表征

Revisiting Spectral Representations in Generative Diffusion Models

AI 导读

基于摘要分析。本文研究表征对齐为何能同时促进扩散模型训练收敛与生成质量,从扰动核的共同视角连接自监督谱表征学习与扩散生成模型,并提出用于辅助扩散训练的自监督谱表征对齐方法。 核心机制是将两类学习过程联系起来:扩散模型通过逆转由高斯核规定的随机加噪过程生成样本;谱表征学习则利用随机扰动核诱导的正负关系获得谱嵌入。作者从几何角度解释联合谱学习对扩散训练的作用,并提出谱对齐目标的优化可写成表征空间中扩散分数蒸馏的等价形式,进而在扩散训练目标中加入谱正则项。摘要未给出具体损失公式、等价关系的假设条件、扰动核构造或正则项权重,这些内容尚待正文核对。 作者报告,在图像与 3D 点云的多数据集生成实验中,生成质量均有改善。摘要未提供数据集名称、评估指标、数值、对照基线及训练预算,因而尚不能判断收益幅度及其计算成本;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 生成模型同样采用高斯加噪与逆向去噪,谱对齐可能作为辅助正则化机制复用,但这不意味着其已对 EEG 或 BCI 有效。迁移需重新设计适合 EEG 时序与通道结构的扰动核及正负关系,避免将任务相关变化误当成应消除的扰动;低信噪比、跨被试差异、通道配置变化及小数据条件也可能使谱结构偏向噪声或被试身份。一个可检验的小实验是在固定数据划分、模型与训练预算下,对比 EEG 扩散模型加入谱正则项前后的生成统计保真度及下游任务表现。相关 EEG 工作尚未检索确认。

阅读价值

该研究从扰动核出发连接谱表征学习与扩散训练,并提出表征空间中谱对齐优化与扩散分数蒸馏的等价联系,值得核对其成立条件及谱正则项的独立贡献。

来源:OpenReview · Representation learning · openreview.net