跳到正文
OpenReview · Representation learning· Yuehao Wang; Peihao Wang; Hanwen Jiang; Ziyi Yang; Qixing Huang; Zhangyang Wang·· 2026-05-26精选AI 评分76

重新审视生成式扩散模型中的谱表示

Revisiting Spectral Representations in Generative Diffusion Models

AI 导读

基于摘要分析。该研究面向生成式扩散模型,探讨隐藏状态的表示对齐为何能同时促进训练收敛与采样质量,并提出自监督谱表示对齐方法,将谱正则项纳入扩散训练目标。 核心思路是以扰动核统一理解两类学习过程:扩散模型通过逆转由高斯核规定的随机加噪过程生成样本;谱表示学习则利用随机扰动核诱导的正负关系构建谱嵌入。作者据此从几何角度解释联合谱学习对扩散训练的作用,并提出谱对齐目标的优化与表示空间中的扩散分数蒸馏具有等价形式。该等价关系的假设、适用范围及具体损失形式尚未验证。 作者报告,在图像和 3D 点云的多个数据集实验中,生成质量均有提升。摘要未提供数据集名称、评估指标、增益数值或对照设置,因此尚不能判断效果幅度、额外训练开销及跨设置稳定性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将这一机制用于 EEG 生成,潜在对应点是通过表示空间约束补充信号空间的扩散训练目标,但并不意味着已验证 EEG 或 BCI 效果。迁移依赖适合 EEG 的扰动核及正负关系定义,需改造表示编码器和对齐方式;低信噪比、跨被试差异与通道配置变化可能使谱表示保留噪声或身份差异,小数据也可能导致关系估计不稳定。一个可检验的小实验是在固定数据划分、扩散骨干和训练预算下,仅比较加入与不加入谱正则项,并联合评估生成质量与下游任务效用。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其通过扰动核连接谱表示学习与扩散训练的机制解释,尤其是谱对齐目标与表示空间中扩散分数蒸馏的等价关系;具体推导条件和生成质量增益尚待全文验证。

来源:OpenReview · Representation learning · openreview.net