凸优化理论与大模型训练学习率调度之间出人意料的一致性

基于摘要分析。该研究考察非光滑凸优化理论能否解释并指导大模型训练中的学习率调度，贡献是为带线性冷却的恒定学习率日程给出性能界，并利用理论与实践的对应关系开展学习率调优。 机制上，作者报告，大模型训练中不同学习率日程的表现与非光滑凸优化理论的性能界呈现相近规律。对于恒定学习率后接线性冷却的日程，所给界不含对数项，作者将其作为理论能够反映冷却阶段实践收益的依据。这是凸优化分析与大模型训练经验之间的对应关系，不应进一步解读为已证明非凸模型训练具有相同保证；界的具体形式、假设与适用范围尚未验证。 作者报告，在 124M 和 210M 的 Llama-type 模型训练中，通过两种方式取得明显改进：一是延长学习率日程，以最优学习率继续训练；二是在不同日程之间迁移最优学习率。摘要未给出改进幅度、评价指标、训练数据、对照日程或学习率搜索成本，因而暂不能判断收益大小及调参效率。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若上述性能界能在较小数据和不同梯度噪声条件下保留日程排序信息，可考虑将学习率日程与调参策略复用于 EEG 模型训练，而不是将其视为新的神经信号表征方法。迁移需适配训练步数、批量规模和验证集选择；EEG 的低信噪比、被试差异及小数据可能使语言模型中的最优学习率迁移关系失效。可先固定一个 EEG 任务及被试划分，在相同训练步数和调参预算下，对比直接搜索与跨日程迁移学习率的表现及波动。已有 EEG 相关工作尚未检索确认。