Simpler Diffusion(SiD2):像素空间扩散在 ImageNet512 上达到 1.5 FID
Simpler Diffusion (SiD2): 1.5 FID on ImageNet512 with pixel-space diffusion
SiD2 研究高分辨率图像生成中像素空间扩散能否在质量与效率上与潜空间扩散竞争,提出一套端到端像素空间扩散的扩展方案。基于摘要分析,未取得论文全文;研究主要对象是图像与视频生成,而非 EEG 解码或 BCI。 核心方案包含三个部分:采用 sigmoid loss-weighting(Kingma & Gao, 2023)及作者指定的超参数;采用减少跳跃连接的简化、内存高效架构;扩展模型时,优先以较少参数在高分辨率上处理图像,而非在较低分辨率上增加参数。作者将这些设计与 guidance intervals 结合,形成 Simpler Diffusion(SiD2)模型家族。摘要未给出具体损失公式、超参数、架构细节及引导区间设置。 作者报告,像素空间扩散在 ImageNet512 上达到 1.5 FID,并称在 ImageNet128、ImageNet256 与 Kinetics600 上取得新的 SOTA 结果。这些是各自生成任务中的作者报告,不能据此推导 EEG/BCI 性能。摘要未提供采样步数、评估样本数、数据划分、对照模型及计算成本口径,因此质量与效率优势的比较条件,以及实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将其用于高维 EEG 信号生成或重建,可检验的假设是损失加权与计算分配策略能够改善直接信号空间扩散的训练效率。可复用候选是加权与资源分配思路;图像架构则需改造以适配时间轴、通道关系及幅值尺度。低信噪比、小数据和跨被试差异可能使更多高分辨率计算用于拟合噪声,而非保留有用神经活动。一个小规模实验是在固定 EEG 数据划分、参数或计算预算及采样设置下,仅替换损失加权,比较重建误差与频谱保真度,再检查结果是否跨被试稳定。该假设不属于原论文已验证结论,相关 EEG 工作尚未检索确认。
值得核对其 sigmoid 损失加权、减少跳跃连接及高分辨率计算分配的组合,是否在明确的生成质量与计算成本协议下支持像素空间扩散的效率优势;其 EEG/BCI 适用性尚未验证。
来源:OpenReview · State space models · openreview.net