有限秩瓶颈如何塑造低秩适配的优化景观

基于摘要分析。本文研究大型预训练模型冻结骨干后，为何低秩更新足以实现参数高效微调，并提出不依赖 Neural Tangent Kernel（NTK）线性化的理论解释：损失只能通过冻结激活所诱导的有限秩线性映射观察适配权重，因而更新的有效自由度受到“瓶颈秩”约束。 核心机制是区分权重矩阵本身与损失能够观察到的输出。作者报告，在产生相同可观测输出的矩阵中，迹范数正则化会促使优化器选择低秩矩阵，由此得到秩受瓶颈秩而非样本量控制的全局最小解。对于 multi-head attention，作者进一步利用两种不变性收紧秩上界：逐行 softmax 不受分数矩阵逐行添加常数影响；value 更新只有经过注意力加权与冻结输出投影后才可被观察。 在带权重衰减的因子化 LoRA 目标上，作者报告，施加任意小的泛型半正定扰动后，当 LoRA 秩超过由瓶颈秩决定的阈值时，每个一阶驻点均为秩亏。该结论不能直接等同于所有驻点都是全局最优。作者还报告，扰动目标的全局最小解对原迹范数问题近似最优，并给出由冻结特征谱结构控制的一致泛化界。具体阈值、误差界、定理适用条件，以及实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若冻结 EEG 基础模型的激活同样具有明显的低有效秩结构，该框架可能为 LoRA 秩选择提供理论参照。可复用的是冻结特征谱分析与低秩适配；需核对多层同时适配时线性映射条件是否成立，并适配 EEG 的通道布局和任务输出。低信噪比可能使谱结构反映噪声而非任务信息，跨被试漂移及小数据也可能使估计不稳定。一个可检验的小实验是固定骨干和跨被试划分，在训练数据上估计相关特征谱，比较不同 LoRA 秩的任务表现与更新有效秩，检验性能饱和是否对应瓶颈结构。已有 EEG 相关工作尚未检索确认。