低秩适应的黎曼几何

基于摘要分析。本文研究 LoRA 的低秩参数化如何影响优化，提出面向 LoRA 的新黎曼度量及其诱导的梯度预条件，使低秩权重更新在理论上更接近全量微调。作者报告在语言与视觉领域的微调任务中验证了方法的有效性与效率，但摘要未提供具体任务、指标或计算开销。 核心机制是处理低秩分解的非唯一性：权重增量写作 BAᵀ 时，对任意可逆矩阵 G，参数对 (B, A) 与 (BG⁻¹, AGᵀ) 表示相同增量，因而具有相同损失。作者通过商流形识别这些等价参数，并引入对该等价关系不变的黎曼度量，以梯度预条件处理不改变权重与损失的冗余方向。 作者报告两项逐次迭代的理论性质：其一，更新方向在 LoRA 参数化允许的一阶权重变化子空间中最接近全量微调梯度；其二，更新后的权重矩阵在 Frobenius 范数意义下，比采用常规预条件或不采用预条件的 LoRA 更接近全量微调所得权重。这些结论针对权重更新的几何关系，不应直接等同于更高任务性能或更低总训练成本。度量的具体形式、理论成立条件、步长设置、对照实现、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 预训练模型采用 LoRA 做小数据适配，该预条件可能缓解低秩因子参数化带来的优化不良，而非直接解决跨被试分布偏移。可复用部分是因子梯度的预条件机制；需核对其对 EEG 模型中目标权重形状、秩与初始化的适用性。低信噪比、小样本和通道差异可能使更接近全量微调的更新仍然过拟合。一个可检验的小实验是在固定 EEG 模型、数据划分、LoRA 秩和训练预算下，对照普通 LoRA 与新预条件，分别记录验证性能、收敛曲线和额外计算开销；已有 EEG 相关工作尚未检索确认。