跳到正文
OpenReview · State space models· Yuatyong Chaichana; Thanapat Trachu; Peerat Limkonchotiwat; Konpat Preechakul; Tirasan Khandhawit; Ekapol Chuangsuwanich·· 2025-01-01精选AI 评分76

Decom-Renorm-Merge:在恰当空间中进行模型合并可改善多任务处理

Decom-Renorm-Merge: Model Merging on the Right Space Improves Multitasking

AI 导读

基于摘要分析。本文研究如何高效合并分别微调的模型,以获得多任务能力,而非直接研究 EEG 或 BCI。作者提出 Decom-Renorm-Merge(DRM),利用 Singular Value Decomposition(SVD,奇异值分解)将权重矩阵分解并协调到对齐的联合空间,再进行逐元素合并,以缓解同一权重位置未必承担相同功能的问题。 核心机制:现有合并方法常将权重矩阵相同位置的元素视为功能对应,但微调后神经元可能形成不同的特征组合,直接合并因而可能产生不匹配。DRM 的思路是在合并前调整权重的表示空间。作者报告,其分析将重归一化识别为构造稳健、均衡联合空间的关键环节;具体分解对象、对齐方式、重归一化公式与合并规则尚未验证。 评估范围:摘要涵盖编码器架构 ViT、DeBERTa,编码器—解码器架构 T5,以及解码器架构 Llama3.1-8B,并涉及完整微调和低秩适配两类设置。作者报告,DRM 优于若干先进模型合并方法;但摘要未提供任务、数据集、划分、指标、数值或基线名称,无法判断优势幅度与适用边界。实验协议、消融及统计信息尚未验证,也不能据此认定其已降低实际部署成本。 平台推测(待验证):假设多个 EEG 模型由同一基础模型分别微调,且架构、通道表示与任务输出具有兼容性,DRM 的权重空间对齐机制可能用于探索跨被试或跨任务模型合并。可复用部分是分解、重归一化与合并流程;需改造或核对输入通道映射、输出头及适配器表示。EEG 的低信噪比、被试差异、通道不一致和小样本微调可能使权重差异更多反映噪声,而非可融合知识。一个可检验的小实验是:固定同一 EEG 基础模型,在相同任务的若干训练被试上分别微调,使用严格隔离的测试被试比较 DRM、直接权重平均与未合并模型,并单独检验重归一化的作用。该设想不构成已证实的 EEG 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 DRM 如何通过 SVD 与重归一化构造可合并的联合空间,以及其相对直接逐元素合并的优势;摘要报告了多类架构上的效果,但具体协议与收益尚未验证。

来源:OpenReview · State space models · openreview.net