扩散模型中表征与图像联合演化的统一视角

基于摘要分析。本文研究利用预训练视觉表征引导图像生成时，表征与图像应在扩散过程的哪个时刻开始耦合，并提出 JERI（Jointly Evolving Representations and Images）：先将表征去噪至中间状态，再让表征与图像联合演化。 作者将既有方案概括为两个端点：RCG 先生成 t=0 的干净表征，再将其作为静态条件；ReDi 和 REG 则从 t=T 的纯噪声状态开始对表征与图像联合去噪。作者认为，前者限制表征接收图像上下文，后者使图像去噪依赖噪声较高的表征。论文把这一权衡形式化为最小化问题，并将两类不利因素的合并效应对应到实际扩散去噪与假设的理想去噪过程之间的散度；理想过程以干净表征或图像作为条件。具体散度定义、优化形式及理论成立条件尚未验证。 作者报告，经验探查与理论分析支持在中间时刻 t=s 耦合，而非采用上述两个端点；在摘要所述的条件生成与无条件生成、不同模型规模及表征空间的实验范围内，JERI 优于既有端点设计。摘要未给出数据集、评估指标、数值、耦合时刻选择方式或计算开销，实验协议、消融及统计信息尚未验证。 本文的主要研究对象是视觉表征引导的图像生成，并非 EEG 或 BCI。平台推测（待验证）：其耦合时机的思路可能适用于联合生成 EEG 与潜在表征，但前提是存在可用的预训练表征和相应联合扩散过程；视觉结果不能直接作为 EEG 有效性的证据，相关 EEG 工作尚未检索确认。