内部优化器如何影响副本扩展

基于摘要分析。本文研究在地理分散、互联能力较弱的计算资源上训练 LLM 时，内部优化器如何影响固定总训练预算下的模型副本扩展。作者从伪梯度的协方差结构及其噪声尺度对批量大小的依赖出发，为采用白化预条件的内部优化器提供理论与实证依据。 研究背景是 DiLoco 等局部优化方法：各副本采用内部优化器进行局部训练。摘要指出，已有工作观察到 Muon 与 AdamW 的选择会显著影响副本数增加时的性能下降趋势，但相关机制解释有限。本文考察多种内部优化器，将上述两类统计性质识别为影响副本扩展的重要因素；白化预条件的具体计算、伪梯度定义、理论假设及其与同步过程的关系尚未验证。 作者报告，在摘要所述固定总训练预算的副本扩展研究背景下，采用白化的内部优化器在 8–96 个副本范围内表现出较强的扩展能力，且随着参数量与数据规模扩大，相对 DP 的表现有所改善。摘要未展开 DP 的定义，也未提供具体模型、数据集、性能指标、预算匹配方式或改善幅度，不能据此断言其全面优于对照。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若用于需要分布式局部训练的 EEG 基础模型，伪梯度统计分析可能帮助区分优化器与数据异质性带来的影响，但这不等于已证实的 BCI 收益。可复用的是伪梯度协方差与噪声尺度的诊断思路；需针对跨被试、通道差异和小数据条件改造白化估计及稳定化处理，低信噪比和有限样本可能使估计失稳。一个可检验的假设是：在固定数据划分、总训练预算与同步频率下，白化内部优化器能减轻增加副本数造成的 EEG 预训练或下游性能下降；可用少量副本与 AdamW 对照，并同时记录伪梯度统计量。相关 EEG 工作尚未检索确认。