Adam、Shampoo 与 Muon 的统计学视角

基于摘要分析。本文研究随机优化器的统计解释与设计：通过正态分布建模梯度，以协方差白化作为预条件原则，并在同一框架下联系 Adam、Shampoo 和 Muon，提出 MN 与 MN-Muon 等方法；原始验证对象是 GPT-2-type 语言模型，而非 EEG 或 BCI。 机制上，作者以正则化似然或等价的最大后验估计，在线估计梯度的均值与方差，再引入对角及 Kronecker 因子化的协方差近似。作者称，对角近似得到与 Adam 非常接近、实践表现相当的方法；Kronecker 近似得到 MN，属于 Shampoo 与 KL-Shampoo 的变体。将统计框架作用于梯度方向而非完整梯度，可恢复 Muon；进一步加入白化步骤得到预条件版本 MN-Muon。MND 与 MND-Muon 分别是 MN 与 MN-Muon 的对角实现，具体更新式及其与已有方法的差异需查阅全文。 作者报告，在 Chinchilla 规模的 GPT-2-type 模型实验中，MND 在稳定性、最终验证损失和耗时方面优于所比较的 Distributed Shampoo 与 KL-Shampoo 实现。MND-Muon 在 24 次配对 GPT-small 运行中的 21 次优于 Muon，并在 GPT-medium 上获得更低的最佳验证损失，且在所测试的六个学习率下保持稳定。但作者也报告，NorMuon 与 MND-Muon 表现相当，并在 GPT-medium 及 FineWeb 上 batch 512 的 GPT-small 设置中取得略低的验证损失，不能据此宣称新方法普遍占优。具体训练预算、超参数搜索、公平对照、消融及统计信息尚未验证。 平台推测（待验证）：梯度白化可能缓解 EEG 模型训练中的参数方向尺度不均，但不等同于去除信号噪声或解决跨被试分布偏移。可复用的是优化器及其统计估计模块，需核对目标模型的参数矩阵结构，并调整正则化与学习率。低信噪比、小样本及通道变化可能使梯度统计估计不稳定。一个可证伪的小实验是在固定 EEG 任务、跨被试划分和相同调参预算下，对比 Adam、Muon 与 MND-Muon 的任务指标、运行间波动及耗时；相关 EEG 工作尚未检索确认。