DT-LoRA：动态分支捕获残差梯度

基于摘要分析。本文研究计算机视觉与自然语言处理任务中 LoRA 相对全量微调的性能差距，从切空间视角分析低秩因子更新未利用的梯度分量，并提出 Dynamic Tangent LoRA（DT-LoRA），在固定秩预算内捕获主要残差梯度方向。 核心机制：作者将因子化更新描述为受限于当前低秩因子的切空间。作者报告，对十种代表性 LoRA 变体的分析发现，切空间外的残差分量占据大部分梯度能量，且具有较强的谱集中性。DT-LoRA 将固定秩预算分配给稳定分支和动态分支，由动态分支捕获主要残差梯度方向。摘要称，这些方向在正交补与秩约束下构成局部二次模型的最优更新；方法利用无需显式构造残差梯度矩阵的随机化 SVD 恢复这些方向，再通过受控写回保留累积更新，并在分配的秩内稳定训练。具体推导条件、方向更新频率及写回规则尚未验证。 结果与复现：作者报告，在计算机视觉和自然语言处理任务中，DT-LoRA 相对 LoRA 及其变体取得一致改善，并在语义分割的开放词汇域泛化任务中超过任务专用方法，达到作者所称的 SOTA。摘要未提供具体数据集、划分、基线配置或指标数值，实验协议、消融及统计信息尚未验证。作者称其相对 LoRA 不增加可训练参数或推理成本，但这不等于训练计算与显存开销不变，随机化 SVD 和写回的实际代价需核对正文。摘要提供了代码地址，代码可运行性尚未验证。 平台推测（待验证）：若 EEG 基础模型的低秩适配也存在显著且谱集中的切空间外梯度，动态方向恢复可能帮助缓解受限更新空间造成的适配瓶颈。可复用的是低秩预算分配与残差方向估计，需按 EEG 模型的可适配权重及监督任务调整；低信噪比、被试差异、通道变化和小样本可能使估计方向不稳定或过拟合。一个可检验的小实验是在固定 Cross-subject 划分、相同秩预算及训练设置下比较 LoRA 与 DT-LoRA，同时测量残差谱、任务指标和训练开销，检验机制与收益是否同时出现。已有 EEG 相关工作尚未检索确认。