各向同性曲率下通过联合切空间优化实现高效秩利用的 LoRA

基于摘要分析。该研究面向大型预训练语言模型的 LoRA 适配，区分名义秩决定的表示容量与优化器实际利用的更新方向，提出通过联合切空间优化提高秩利用率的优化器 Iso-LoRA。 核心机制：Iso-LoRA 在权重空间中诱导的切向扰动上执行谱下降，耦合 LoRA 因子的更新，使更新能量更均匀地分布于不同奇异方向，同时保持与 LoRA 参数化兼容。摘要未给出具体更新公式，也未展开标题中各向同性曲率假设的适用条件，需查阅正文核对。 证据与边界：作者报告，在 GPT-2 的 LoRA 适配案例中，相同名义秩下，AdamW 的单步更新常呈现集中的奇异值谱和较低有效秩，而 Muon 使用更丰富的方向，并更稳定地受益于 LoRA 秩的增加。理论结果来自简化尖峰梯度模型下的单步分析，作者据此说明 Iso-LoRA 可比标准逐因子优化器获得更高有效秩；不能直接将这一结论扩展为一般训练过程的保证。作者还报告，在参数规模为 0.1B–7B 的语言模型适配实验中，Iso-LoRA 改善了有效秩及下游性能，收益在中高 LoRA 秩时最明显。具体数据集、任务、划分、指标、提升幅度、计算开销，以及实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 预训练模型使用 LoRA 适配，优化器导致的秩利用不足可能也是容量受限的一个来源，但语言模型结果不构成 EEG/BCI 有效性的证据。可复用的是因子联合更新与有效秩诊断，需适配 EEG 模型的目标权重及任务监督；低信噪比、跨被试差异和小样本可能使新增更新方向拟合噪声。一个可检验的小实验是在固定 EEG 模型、数据划分、LoRA 名义秩和训练预算下，对比 Iso-LoRA 与 AdamW，同时记录更新有效秩及同一任务指标，检验有效秩提升是否伴随泛化改善。相关 EEG 工作尚未检索确认。