跳到正文
OpenReview · State space models· Zhikang Chen; Sen Cui; Deheng Ye; Min Zhang; Gang Niu; Yu Zhang; Masashi Sugiyama; Tingting Zhu·· 2025-09-15精选AI 评分74

从系数到方向:以方向对齐重新思考模型合并

From Coefficients to Directions: Rethinking Model Merging with Directional Alignment

AI 导读

基于摘要分析。本文研究如何在不进行联合重训练的情况下,将多个独立训练的模型合并为一个模型,提出 Merging with Directional Alignment(MDA),以统一几何框架对齐参数空间与特征空间中的方向结构。 作者认为,现有参数分解、融合系数优化与子空间学习方法,对方向信息关注不足:朴素合并可能造成主导参数方向不一致,破坏模型间的结构一致性;仅优化系数则隐含依赖各模型特征方向的兼容性。论文借助 Neural Collapse 所揭示的类别特征方向结构,说明独立训练模型之间可能存在无法单靠系数调整解决的几何差异。MDA 的主要贡献是将两个空间的方向对齐纳入同一框架,但摘要未提供对齐算子、优化目标及所需数据或监督条件。 作者报告,理论分析表明方向对齐能够改善结构一致性并收紧泛化界,并在多个基准、模型规模和任务配置上验证了有效性。具体数据集、模型、对照基线、指标、收益幅度及理论假设尚未验证,实验协议、消融及统计信息也尚未验证。 平台推测(待验证):若跨被试或跨会话 EEG 分类模型具有兼容的参数结构与类别语义,方向对齐可能为模型合并中的表征不一致提供处理路径,但原领域有效不等于 BCI 有效。可复用候选是参数与特征方向对齐机制;需核对并改造通道表示、类别对应及对齐数据需求。低信噪比、小样本和被试差异可能使类别方向估计不稳定。一个可检验的小实验是,在固定通道与类别的跨被试任务中,统一源模型训练协议及目标被试评估划分,对比直接参数平均、系数优化与 MDA,并明确目标被试数据是否参与对齐。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 MDA 如何联合处理参数空间与特征空间的方向不一致,以及其泛化界所需假设;摘要尚不足以确认具体收益或 EEG 模型合并的适用性。

来源:OpenReview · State space models · openreview.net