DaTMe：以扩散动态指导图像生成Token合并

1. 01:59
   arXiv · 多模态与生成机制精选

   应合并哪些 Token？利用扩散动态实现高效图像生成

   基于摘要分析。本文研究扩散模型图像生成中的 token 合并决策，提出无需训练的 Dynamics-aware Token Merging（DaTMe）：依据去噪过程中的变化与局部结构信息判断哪些 token 应保留、哪些可安全合并，以减少冗余计算并降低生成质量损失。 核心机制是从 Tweedie 去噪估计构建动态感知重要性图，结合两类信号：时间信号衡量相邻步骤所预测干净图像的变化，结构信号捕捉边界、细节等局部高频内容。在给定压缩比下，DaTMe 将重要 token 保留为锚点，将时间上已稳定且结构上较均质的 token 选为合并候选。相较于按提示词相关性保护前景区域的思路，其着眼点是避免忽略未被提示词明确提及的背景对象与局部细节。 作者报告，在 PixArt-a 和 FLUX 上的实验显示，DaTMe 能维持整幅图像的视觉保真度。摘要未提供具体数据集、压缩比、速度、质量指标及对照数值，因此尚不能量化其计算收益或不同压缩强度下的质量变化；实验协议、消融及统计信息尚未验证。摘要给出了代码地址，但代码可运行性、依赖和复现配置尚未核验。 该研究的主要对象是图像扩散生成，而非 EEG 解码或 BCI。平台推测（待验证）：若用于 EEG 条件图像生成，其基于去噪动态的合并准则可能作为生成端加速模块复用，但这依赖于模型能提供可比较的干净图像估计及空间结构信号，不能据此推断其改善神经信号解码。低信噪比或小数据条件下，条件信息不稳定可能使重要性图偏离任务相关内容；跨被试、通道配置差异带来的影响也需另行验证。相关 EEG 工作尚未检索确认。一个可证伪的小实验是在固定 EEG 条件生成模型与数据划分下，比较不合并、文本相关性合并和 DaTMe 在相同压缩比下的延迟、图像质量及条件一致性，检验加速是否牺牲与 EEG 条件对应的内容。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。