Muse：超越动量归一化的 Muon 表示几何

基于摘要分析。本文研究 Muon 对矩阵动量进行谱变换时，矩阵表示相较于将动量向量化后归一化的 nSGDM，究竟提供了什么额外作用。作者提出 Muse，通过改变计算更新时使用的矩阵表示，结合语言模型训练与理论分析，考察表示结构如何影响优化。 作者报告，在 130M 和 600M 语言模型实验中，保留元素顺序的重塑仍能获得低于 nSGDM 的验证损失；但在受控行块问题与 600M 语言模型训练中，保持矩阵形状不变而打乱元素位置，会消除 Muon 相对 nSGDM 的优势。该对照支持矩阵内部组织方式与优化收益有关，而不只是更新量的向量归一化；具体数据集、训练预算及损失差值尚未验证。 理论部分先分析单步参数误差的改善，指出其同时依赖 nuclear support 与更新方向对齐程度。随后，作者在异质行块曲率条件下分析收敛：Muon 的谱约束限制每一行的更新能量，使所得界依赖平均行曲率，而相应 nSGDM 的界依赖最大行曲率。作者还为精确极分解更新和固定迭代次数的 Newton–Schulz 更新建立驻点保证；在原生行块曲率异质的条件下，作者报告精确极分解的优化后界更紧，并给出这一优势可延伸至五步更新的条件。具体假设、常数、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 网络权重的原生行块组织也对应明显的曲率异质性，这一机制可能有助于解释优化器收益，但参数行并不天然等同于 EEG 通道或生理结构。可复用的是矩阵更新及表示扰动对照，需适配的是权重分组和跨被试评估。一个可证伪的小实验是在固定 EEG 模型、数据划分与训练预算下，对比原生表示 Muon、打乱后计算并映射回原位置的 Muon 与 nSGDM；低信噪比、小数据及被试差异可能掩盖优化收益。已有 EEG 相关工作尚未检索确认。