跳到正文
arXiv · 多模态与生成机制· Minkyu Kim; Baekseung Kim; Junhoo Lee; Jangho Kim; Nojun Kwak·· 23 小时前精选AI 评分73

ManiFusion:通过流形空间中的叠加实现高吞吐量生成

ManiFusion: Unlocking the High-Throughput Generation via Superposition in Manifold Space

AI 导读

基于摘要分析。该研究针对扩散模型迭代去噪计算成本较高的问题,提出 ManiFusion:不只压缩单样本生成延迟,而是在一次去噪求值中联合处理多个样本,以提高图像生成吞吐量。 核心机制是在去噪骨干网络之前融合多个样本,在骨干处理之后通过解融合恢复各自的表示。作者从几何角度解释多个样本如何共享融合表示,同时保留引导各自生成轨迹所需的信息。框架还引入 Trajectory-Fusion Scheduling(TFS),在采样过程中动态调整融合因子,使融合分配与去噪阶段相适应。摘要未提供具体融合算子、解融合条件、调度规则及训练要求,这些实现细节尚未验证。 作者报告,该框架可用于像素空间和潜空间中的扩散模型,涵盖 U-Net 与 transformer 骨干,并可与现有加速方法组合;作者还报告,其能够以较小的生成质量损失达到既有方法未能达到的吞吐量水平。但摘要未给出数据集、硬件、批量大小、采样配置、对照方法及吞吐量和质量指标,因此尚不能量化收益,也不能判断不同设置下的适用范围。实验协议、消融及统计信息尚未验证。 阅读全文时应重点核对:共享计算如何保留不同样本的独立生成轨迹,融合强度与生成质量如何权衡,以及吞吐量增益是否伴随单样本延迟或显存需求变化。该工作的主要对象是图像扩散生成,现有材料不支持其在 EEG 或 BCI 中的有效性;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对的是 ManiFusion 将扩散加速目标从单样本延迟转向多样本吞吐量,并通过融合与解融合共享去噪计算;其质量—吞吐量权衡及与现有加速方法的兼容性仍需全文实验验证。

来源:arXiv · 多模态与生成机制 · arxiv.org