基于零空间压缩的无标签跨任务 LoRA 合并

基于摘要分析。本文研究如何在不进行联合多任务训练的情况下，合并独立微调的 LoRA 适配器，尤其关注分类、回归与序列生成混合时的跨任务合并。作者提出 Null-Space Compression（NSC）Merging，依据适配器几何性质确定合并权重，不依赖标签或特定输出形式。 核心机制是：在 LoRA 更新 ΔW = BA 中，作者观察到下投影因子 A 在微调期间出现零空间压缩，且该压缩与性能相关；NSC 将其用作合并的优化信号。相较于基于熵的替代目标，该思路旨在避免对分类输出的依赖，并应对长 token 序列带来的计算成本。零空间压缩的具体定义、估计方式、权重优化目标及计算开销，摘要未提供，尚待全文核对。 作者报告，在二十项异构视觉任务的评估中，NSC 达到最优水平，并较既有方法取得更均衡的任务收益；在六个 NLI 基准以及 VQA、图像描述的视觉—语言评估中也优于基线。摘要未列出具体数据集、指标、分数、划分与基线配置，因此不能据此量化增益或跨协议比较。实验协议、消融及统计信息尚未验证。摘要提供了代码地址，但实现与运行条件尚未核验。 平台推测（待验证）：其潜在 EEG 对应问题是合并共享基础模型上、分别为不同任务或被试训练的 LoRA 适配器，而非直接改进神经信号解码。假设这些适配器的参数位置和形状兼容，可尝试复用几何权重估计与合并模块；EEG 输入编码、通道对齐及任务头仍需单独适配。低信噪比、被试差异和小数据可能使几何压缩与泛化性能的相关性失效。一个可证伪的小实验是：固定 EEG 骨干与数据划分，比较 NSC 和均匀 LoRA 合并，分别报告各任务原有指标，并检验压缩量与独立测试性能是否相关。已有 EEG 相关工作尚未检索确认。