应合并哪些 Token?利用扩散动态实现高效图像生成
Which Tokens to Merge? Diffusion Dynamics for Efficient Image Generation
基于摘要分析。本文研究扩散模型图像生成中的 token 合并决策,提出无需训练的 Dynamics-aware Token Merging(DaTMe):依据去噪过程中的变化与局部结构信息判断哪些 token 应保留、哪些可安全合并,以减少冗余计算并降低生成质量损失。 核心机制是从 Tweedie 去噪估计构建动态感知重要性图,结合两类信号:时间信号衡量相邻步骤所预测干净图像的变化,结构信号捕捉边界、细节等局部高频内容。在给定压缩比下,DaTMe 将重要 token 保留为锚点,将时间上已稳定且结构上较均质的 token 选为合并候选。相较于按提示词相关性保护前景区域的思路,其着眼点是避免忽略未被提示词明确提及的背景对象与局部细节。 作者报告,在 PixArt-a 和 FLUX 上的实验显示,DaTMe 能维持整幅图像的视觉保真度。摘要未提供具体数据集、压缩比、速度、质量指标及对照数值,因此尚不能量化其计算收益或不同压缩强度下的质量变化;实验协议、消融及统计信息尚未验证。摘要给出了代码地址,但代码可运行性、依赖和复现配置尚未核验。 该研究的主要对象是图像扩散生成,而非 EEG 解码或 BCI。平台推测(待验证):若用于 EEG 条件图像生成,其基于去噪动态的合并准则可能作为生成端加速模块复用,但这依赖于模型能提供可比较的干净图像估计及空间结构信号,不能据此推断其改善神经信号解码。低信噪比或小数据条件下,条件信息不稳定可能使重要性图偏离任务相关内容;跨被试、通道配置差异带来的影响也需另行验证。相关 EEG 工作尚未检索确认。一个可证伪的小实验是在固定 EEG 条件生成模型与数据划分下,比较不合并、文本相关性合并和 DaTMe 在相同压缩比下的延迟、图像质量及条件一致性,检验加速是否牺牲与 EEG 条件对应的内容。
值得核对其基于去噪动态与局部结构选择合并 token 的机制,尤其是相较文本相关性准则对背景和细节的保护效果,但摘要尚不足以验证加速收益与质量权衡。
来源:arXiv · 多模态与生成机制 · arxiv.org