用于生成的表征条件化
Representation Conditioning for Generation
基于摘要分析。本文研究图像生成中 diffusion transformer 的表征对齐问题,提出 representation conditioning(RECON),通过向后期层提供预训练视觉编码器的语义 token,改善仅在早期层施加表征对齐监督时,后期层未必能充分利用语义信息的问题。 机制上,REPA 使用预训练视觉编码器,通过 MLP projection head 监督生成骨干的中间层,该投影头通常在训练后丢弃。作者认为,对齐损失可通过反向传播影响早期层,但仅受 velocity prediction loss 监督的后期层能否充分获取这些语义并无保证。RECON 在训练时直接将预训练视觉编码器的 token 输入后期层;推理时因无法获得干净图像,复用 MLP projection head 作为视觉编码器的代理,将其输出 token 提供给后期层。具体条件注入方式及投影头的输入位置尚未验证。 作者报告,该方法不增加参数,收敛速度相对 SiT 提升 63 倍、相对 REPA 提升 25 倍。但摘要未给出这些倍数对应的数据集、模型规模、目标生成质量、训练预算或耗时口径,因此不能将其直接理解为推理提速或任意设置下的计算节省。实验协议、消融及统计信息尚未验证;尤其需核对训练时视觉编码器 token 与推理时代理 token 的差异及其影响。 本文的主要研究对象是图像生成,而非 EEG 或 BCI。摘要不足以建立具体神经信号迁移路径,不据此推断其在 EEG/BCI 上有效;已有 EEG 相关工作尚未检索确认。
值得核对的是 RECON 如何复用 REPA 的 MLP projection head,将早期层学到的语义传递至后期层,以及训练与推理条件差异对收敛收益的影响;摘要所报加速倍数仍需结合完整评估协议验证。
来源:OpenReview · Representation learning · openreview.net