函数空间中的曲率感知 LoRA 初始化

基于摘要分析。本文研究大规模预训练模型的参数高效微调，针对 LoRA 在收敛速度和最终性能上可能落后于全量微调的问题，从函数空间而非参数空间出发，以匹配两种微调方式的预测输出为目标，提出 Curvature-Guided LoRA（CG-LoRA）。其主要研究对象是通用预训练模型适配，并非 EEG 或 BCI。 机制上，论文分别考察首次训练更新后和收敛时的预测对齐。作者指出，前者对应经曲率着色的梯度，后者对应类似 Newton 更新的曲率白化梯度。CG-LoRA 的两个变体分别利用这些梯度的主导奇异子空间初始化适配器列空间，并从条件性考量推导初始化谱，旨在免除尺度调参。与对齐参数更新的方法相比，其关键区别是直接围绕预测输出建立对齐目标；具体曲率定义、估计方式及理论成立条件尚需全文核对。 作者报告，在自然语言理解、数学推理和代码生成基准上，CG-LoRA 以更低的初始化成本达到或超过先进的非零初始化 LoRA 变体。摘要未提供具体数据集、模型规模、指标数值、数据划分及成本计量方式，实验协议、消融及统计信息尚未验证，不能据此量化收益或判断其相对全量微调的差距。 平台推测（待验证）：若 EEG 预训练模型采用 LoRA 进行下游适配，可检验曲率引导初始化是否能在相同低秩预算下改善优化。可复用部分是适配器子空间与初始化谱的构造；需针对 EEG 任务损失、信号输入和可用训练数据重新估计梯度及曲率。低信噪比、小样本和跨被试差异可能使曲率估计不稳定。一个可证伪的小实验是在固定跨被试划分、骨干模型、秩和训练预算下，对比常规 LoRA 与两种 CG-LoRA 初始化，同时记录下游任务指标、收敛过程及初始化成本。该假设依赖可微任务损失和足以估计梯度、曲率的训练数据，不能由原文语言与代码任务结果直接推出；已有 EEG 相关工作尚未检索确认。