免训练的预训练模型合并

基于摘要分析。本文研究如何在不额外训练或微调的情况下，将多个单任务专长模型合并为一个多任务能力模型，并面向既有方法对相同预训练初始化的依赖提出改进。作者提出 merging under dual-space constraints（MuDSC），通过联合权重空间与激活空间的相似性约束寻找模型单元的置换对齐。 核心机制是处理两种空间中单元相似性不一致的问题：MuDSC 对激活相似性矩阵与权重相似性矩阵进行线性组合，寻找在双空间中均具有较高相似性的置换矩阵，而非仅优化单一空间目标。方法还针对 Multi-Head Attention 和 Group Normalization 的分组结构作了适配；具体求解流程、组合系数及结构兼容条件尚未验证。 作者报告，在多种任务组合与架构的比较中，MuDSC 提升了合并模型的性能；多任务损失景观可视化显示，合并模型位于各任务低损失区域的重叠部分。摘要未提供数据集、指标、数值、数据划分及具体基线，实验协议、消融及统计信息尚未验证。作者提供了公开代码地址，但实现与复现条件尚未核验。 平台推测（待验证）：假设不同被试或会话的 EEG 模型具有可对齐的架构与单元结构，双空间对齐可能用于探索合并专长模型，减少额外微调需求。可复用部分是相似性融合与置换搜索，需改造或核对的部分包括 EEG 通道对应、归一化结构及激活相似性估计所需数据。低信噪比、跨被试分布差异与小数据可能使激活相似性不稳定，而权重相似性也未必对应相同功能。一个可证伪的小实验是在固定 EEG 任务、相同架构及不同初始化下，对比权重单空间、激活单空间与双空间对齐，使用独立测试集检验合并后的各任务表现；相似性估计数据与测试数据应分离。相关 EEG 模型合并工作尚未检索确认。