跳到正文
OpenReview · State space models· Han-Chen Zhang; Zi-Hao Zhou; Mao-Lin Luo; Shimin Di; Min-Ling Zhang; Tong Wei·· 26 天前精选AI 评分75

DC-Merge:通过方向一致性改进模型合并

DC-Merge: Improving Model Merging with Directional Consistency

AI 导读

基于摘要分析。该研究面向模型合并:将多个任务适配模型整合为一个模型,同时保留各任务知识。作者提出 DC-Merge,通过平衡任务向量的奇异值能量分布并对齐其方向几何,改善合并过程中的知识保留;原论文主要研究对象是视觉与视觉—语言模型,而非 EEG 或 BCI。 核心机制:作者将知识保留与合并后多任务向量和各任务向量之间的奇异子空间方向一致性联系起来,并指出两个问题:少量奇异值占据大部分能量,使较弱但可能具有语义意义的分量在合并中被忽略;任务向量在参数空间中的几何不一致,使直接合并扭曲其方向结构。DC-Merge 先平滑各任务向量的奇异值,再将能量平衡后的向量投影到共享正交子空间,以最小重构误差对齐方向几何,随后在该子空间内聚合并映射回原参数空间。平滑函数、子空间维度选择、聚合权重及计算开销尚未验证。 作者报告,在视觉与视觉—语言基准上,DC-Merge 在完整微调和 LoRA 设置下均达到最先进性能。摘要未提供具体数据集、指标、数值、划分或对照方法,因此不能量化收益或比较不同协议;实验协议、消融及统计信息尚未验证。摘要提供了实现代码链接,但代码内容、依赖及复现条件尚未核对。 平台推测(待验证):假设多个 EEG 解码模型源于同一初始化,且参数结构、通道表示与输出定义兼容,该机制可能用于合并不同被试或会话的适配模型,以缓解直接合并中的任务干扰。可复用的是奇异值平滑与子空间对齐;需要明确 EEG 模型的任务向量构造和可合并模块。低信噪比、小数据适配可能使弱奇异分量包含噪声,平滑也可能放大这些分量;被试差异与通道不一致则可能削弱共享子空间假设。一个可证伪的小实验是在固定数据划分下,比较直接合并与 DC-Merge,并分别关闭平滑和对齐,检查各任务性能保留与几何变化是否一致。上述不是已证实的 EEG 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其奇异值平滑与共享正交子空间对齐能否减少模型合并中的任务知识损失,但摘要中的性能主张及其向 EEG 模型迁移的有效性尚未验证。

来源:OpenReview · State space models · openreview.net