跳到正文
OpenReview · State space models· Kexuan Shi; Yandong Wen; Weiyang Liu·· 2025-09-02精选AI 评分73

基于 Functional Dual Anchors 的模型合并

Model Merging with Functional Dual Anchors

AI 导读

基于摘要分析。本文研究如何在训练后整合由同一基础模型微调得到的多个检查点,提出 Functional Dual Anchors(FDAs),从输入—表征空间刻画各任务相对于预训练模型的功能变化,而非仅在参数空间组合任务向量。 核心机制是构造合成输入,使其诱导的梯度与任务向量对齐,以捕获任务特定的功能变化。作者将这一视角用于连接联合多任务训练与事后模型合并,并提出一套初始化方案。作者报告 FDAs 与以参数为中心的模型合并方法具有互补性,且实验支持其合并有效性;摘要未给出初始化细节、梯度对齐的具体目标、合成输入优化过程及最终合并步骤,不能据此确定其计算成本或实现条件。 该方法的明确前提是待合并检查点共享一个基础模型。摘要未列出任务、数据集、对照方法、评估指标或效果数值,实验协议、消融及统计信息尚未验证。阅读正文时宜核对功能锚点如何缓解参数不一致,以及互补性是在何种合并方法和任务组合下成立。 平台推测(待验证):若 EEG 任务的多个检查点由同一基础模型微调得到,梯度对齐的合成锚点可能为整合不同任务或被试的功能变化提供可检验路径,但原领域有效不等于 BCI 有效。可考虑复用锚点构造思路,按 EEG 的通道布局、时序结构与幅值约束改造输入空间;低信噪比、跨被试差异及小数据可能使锚点拟合非稳健特征。一个小规模检验是固定共享基础模型与数据划分,对比参数空间合并及加入 FDAs 后的原任务保持能力和跨被试表现。上述为迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 FDAs 如何以合成输入及梯度对齐表征任务功能变化,以及其与参数空间合并的互补性;摘要未提供具体评估协议或效果数值,BCI 适用性尚未验证。

来源:OpenReview · State space models · openreview.net