跳到正文
OpenReview · Representation learning·· 21 天前精选AI 评分79

生成驱动的表征学习:无需预设任务的自引导扩散

Generation-induced Representation Learning: Self-Guided Diffusion without Pretext Tasks

AI 导读

该研究考察纯生成训练能否学习可用于语义任务的表征,提出从零端到端联合训练图像编码器与条件扩散模型的框架,不使用标签、对比损失或掩码,基础设置仅采用水平翻转增强。基于摘要分析,未取得论文全文。 编码器输出的潜在向量同时用于控制条件生成和下游语义任务。作者另在编码器输出空间训练扩散模型,以采样潜在表征,并与条件扩散模型串联实现无条件图像生成。摘要强调,条件模型的图像输入与潜在输入使用独立采样的噪声时间步,这是其学习动态的关键;具体噪声注入方式、损失形式与训练流程尚未验证。 作者报告,在 CIFAR-10、CIFAR-100 和 ImageNet-100 上,该系统的无条件生成表现明显优于架构匹配、计算量相同的 DDPM 基线,但摘要未提供指标与数值。作者报告,在仅使用水平翻转增强、编码器纯粹由去噪扩散损失训练的设置下,kNN 分类 Accuracy 可与 SODA 等专门的自监督方法相当。进一步采用与 SimCLR 相同的数据增强配方后,作者报告,生成目标在 CIFAR-10 和 CIFAR-100 涉及的四种探测协议中,有三种优于 SimCLR 的对比目标。数据划分、探测协议细节、消融及统计信息尚未验证,不能据此推断其他任务上的优势。 平台推测(待验证):迁移至 EEG 的假设是,条件生成的去噪监督可能促使编码器提取可复用结构,从而缓解标签稀缺问题;但图像语义表征的结果不等于 BCI 有效。可复用的是编码器与条件扩散联合训练、独立噪声时间步机制;需改造信号编码、噪声建模与增强策略,水平翻转不能直接视为 EEG 的有效增强。低信噪比、跨被试差异、通道不一致和小样本可能使表征偏向伪迹或个体特征。一个可证伪的小实验是在固定 EEG 数据划分与计算预算下,对比独立和共享噪声时间步,并以冻结编码器的跨被试分类检验机制收益;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对与复现的是:作者以生成目标学习语义表征,并设置同架构、同计算量的 DDPM 对照及同数据增强的 SimCLR 对照,可用于检验表征收益是否来自训练目标与噪声机制,而非额外预设任务。

来源:OpenReview · Representation learning · openreview.net