跳到正文
OpenReview · Representation learning·· 2026-09-17精选AI 评分77

Noise-Aligned Autoencoders:无需端到端训练学习适于扩散建模的潜表示

Noise-Aligned Autoencoders: Learning Diffusable Latents without End-to-End Training

AI 导读

基于摘要分析。本文研究图像生成中自编码器潜空间的扩散建模适宜性(diffusability)与重建保真度之间的权衡,提出 Noise-Aligned Autoencoder(NA-VAE),通过对齐带噪潜表示与预训练视觉基础模型(VFMs)的表征,在不进行端到端联合训练的条件下改善潜空间的生成建模性质。 作者认为,REPA-E 的收益主要来自表征对齐(REPA),而非扩散损失本身;但直接将 REPA 损失用于自编码器可能导致潜表示过度平滑,使下游扩散训练的收敛速度仍落后于端到端调优的 VAE。NA-VAE 通过具有空间归纳偏置的轻量级头,对噪声条件下的潜表示进行对齐。作者将其机制解释为:促使潜表示携带更多不易被噪声淹没的低频成分,从而形成更有结构的潜空间。摘要未提供噪声采样方式、对齐目标的具体形式及空间模块结构。 作者报告,在多个 VAE 家族及标准类别条件生成、文本到图像生成基准上,NA-VAE 持续优于直接 REPA 对齐,且达到与 REPA-E 相当或更好的表现;该训练方式不要求显式标注数据,也不需要端到端联合调优。摘要未列出具体数据集、指标数值、计算预算或重建质量对照,因此尚不能量化收益及其代价,实验协议、消融及统计信息尚未验证。向视频和音频生成扩展仅是作者提出的潜力,并非摘要所述的已验证结果。 平台推测(待验证):若将这一机制用于 EEG 生成表征学习,可检验的假设是,带噪潜表示对齐有助于保留稳定结构;但这需要适配时序与通道结构的参考表征,不能直接沿用视觉基础模型及图像空间归纳偏置。低信噪比、跨被试差异和小数据可能使对齐目标失真,强调低频也可能削弱任务相关的高频或瞬态信息。最小验证可在固定数据划分与下游生成器的条件下,对比普通自编码器、直接表征对齐与带噪表征对齐,同时检查重建频谱、任务信息保留及生成训练收敛;这不是已证实的 BCI 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其“噪声条件下的表征对齐可替代端到端联合训练”这一机制解释,尤其是潜空间结构、重建保真度与下游扩散训练收敛速度之间的权衡,但具体实验协议及跨模态适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net