大型扩散模型需要的不只是 EMA

基于摘要分析。本文研究大型扩散模型训练中，恒定学习率（LR）配合指数移动平均（EMA）是否足够，以及学习率衰减和 Schedule-Free 优化能否提供更好的替代方案。核心贡献是将参数波动的降低与持续优化能力区分开来，指出仅靠参数平均并不足以保证更有效的训练。 理论方面，作者提出，恒定步长轨迹的平均具有内在优化局限；在标准非凸假设下，学习率衰减与 Schedule-Free 则具有趋于零的驻点性保证。摘要未给出具体假设、界限形式及其对实际扩散训练的适用条件，尚需全文核对。 实验方面，作者报告：在所测试的多数衰减起始时点，学习率衰减与 EMA 结合优于标准基线，但收益对衰减何时开始较敏感；Schedule-Free 无需选择这一衰减起始时点，在不同训练阶段均优于恒定学习率加 EMA，表现为更低的固定评估目标值及更好的生成质量。摘要未提供模型、数据集、训练规模、评价指标及具体数值，不能据此判断收益幅度或跨设置的普遍性。 机制分析中，作者报告三种策略均显著降低参数波动，但稳定程度并非越高越好：激进衰减结合 EMA 的检查点波动最低，却削弱了持续优化；Schedule-Free 在降低波动的同时保留了更多训练后期进展。作者还报告其收益延伸至 ReFL 与生成器侧 DMD，但相关实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 生成或扩散重建任务也存在训练后期参数波动与优化停滞的权衡，可将优化器及平均策略作为独立变量研究，而非直接迁移原文的生成质量结论。可复用的是训练更新与参数平均策略，需重新校准学习率及评估方案；低信噪比、小样本和被试差异可能使原领域收益不再成立。一个可检验的小实验是在固定 EEG 数据划分、扩散模型和训练预算下，对照恒定学习率加 EMA、衰减加 EMA 与 Schedule-Free，同时观察验证目标、任务指标及检查点波动。已有 EEG 相关工作尚未检索确认。