LoRAWeaver:LoRA 输出空间中的方向性适配器路由
LoRAWeaver: Directional Adapter Routing in LoRA Output Space
基于摘要分析。该论文研究大语言模型反复进行参数高效微调后,如何从不断增长的任务专用 LoRA 适配器池中选择推理所需适配器。LoRAWeaver 将路由视为 LoRA 输出空间中的表征对齐问题,通过余弦相似度匹配适配器条件化的查询表征与任务原型,实现免训练路由。 核心区别在于使用 LoRA 输出空间中的方向性信息,而不是依赖需要训练的检索编码器。摘要指出,已有部分路由和编码器方法在新增适配器后需要重新训练;本方法针对这一动态扩展问题提出替代路径。任务原型如何构建、查询表征取自何处、需要评估多少适配器,以及新增适配器的实际计算与存储成本,尚未验证。 作者报告,在 LLaMA-2-7B、LLaMA-2-13B 和 LLaMA-3.1-8B 上的 FLAN-v2 混合任务评估中,该方法在不依赖检索训练编码器的免训练路由方法里,均取得最高跨任务宏平均结果;在 LLaMA-2-13B 和 LLaMA-3.1-8B 的两种混合任务设置下,还超过 LoRARetriever。作者报告其在部分分布外推理与代码基准上保持竞争力,且消融支持输出空间方向对齐的作用。摘要未提供具体分数、宏平均所汇总的指标、划分及统计信息,不能将这些结果直接解释为 Accuracy 提升。 平台推测(待验证):若 EEG 模型已有共享骨干和多个任务专用 LoRA 适配器,可假设这种原型匹配机制能用于适配器选择。可复用余弦匹配逻辑,但需改造 EEG 查询表征与原型构建;跨被试差异、通道变化、低信噪比及小样本可能使方向相似性偏离任务相关性。一个可检验的小实验是固定骨干与适配器,在预先规定的跨被试划分上,仅用训练集构建原型,对比方向路由、固定单适配器和随机路由的任务指标及路由开销。原领域结果不构成 BCI 有效性的证据,已有 EEG 相关工作尚未检索确认。
值得核对其利用 LoRA 输出空间方向对齐实现免训练适配器选择的机制,以及新增适配器时的原型构建成本;摘要报告了多骨干路由对照,但尚不能据此确认 EEG/BCI 适用性。
来源:OpenReview · State space models · openreview.net