LoRA-Null：面向大语言模型的零空间低秩适应

基于摘要分析。该研究针对大语言模型（LLMs）在 LoRA 微调中遗忘预训练世界知识的问题，提出 LoRA-Null：利用预训练模型输入激活的零空间初始化低秩适配器，以兼顾原有知识保留和下游任务适应。主要研究对象是语言模型，而非 EEG 或 BCI。 机制上，作者随机收集少量数据样本，提取其通过 LLM 层时的激活，对输入激活进行 Singular Value Decomposition（SVD）以获得零空间，再将预训练权重在该零空间上的投影用于适配器初始化。与一般低秩微调相比，摘要明确强调的差异是初始化所依赖的激活几何结构；作者报告，微调时进一步冻结下投影矩阵可更好地保留预训练世界知识。零空间的具体数值判定、适配器构造及冻结策略的实现细节尚未验证。 作者报告，在 LLaMA2、LLaMA3、LLaMA3.1 和 LLaMA3.2 上，覆盖 Code、Math 和 Instruction Following 任务的实验支持其知识保留能力，同时维持较强的微调表现；摘要还称提供了知识保留能力的理论保证，并给出代码地址。但具体数据集、数据划分、知识保留评估指标、对照基线、数值结果、消融与统计信息，以及理论保证的适用假设，均尚未验证，不能据此判断收益幅度或普适性。 平台推测（待验证）：若 EEG 基础模型微调也存在预训练表征遗忘，可假设利用预训练激活的零空间限制更新方向，有助于保留原有表征。可复用的是激活采样、SVD 和低秩初始化思路；需改造的是 EEG 编码器中的适配位置与激活组织方式，并明确预训练能力和目标任务的评估指标。该机制依赖采样激活对原有表征的覆盖，小数据、低信噪比及跨被试或通道变化可能使估计的零空间不稳定，或限制必要的适应方向。一个可证伪的小实验是在同一 EEG 预训练模型、固定数据划分和相同适配器秩下，对比标准 LoRA、零空间初始化及其冻结下投影版本，同时评估目标任务表现与原任务保持程度。已有 EEG 相关工作尚未检索确认。