正交模型合并

基于摘要分析。本文研究如何合并经过不同任务微调的 Large Language Models（LLMs），以在单一模型中整合多种能力。作者提出 Orthogonal Model Merging（OrthoMerge），将任务适配中的正交变换置于正交群构成的黎曼流形上合并，旨在减少欧氏空间线性运算对预训练权重几何结构的破坏。 对于 Orthogonal Finetuning（OFT）得到的模型，OrthoMerge 将任务特定的正交矩阵映射到 Lie algebra，在合并时同时考虑适配的方向与强度。作者以 hyperspherical energy 等几何属性说明保留权重结构的动机；摘要未提供具体映射、合并公式及计算开销。 对于低秩微调、全量微调等非 OFT 模型，作者提出 Orthogonal-Residual Decoupling：通过求解 orthogonal Procrustes problem 提取专家模型的正交分量，在正交群流形上合并这些分量，其余线性残差则采用标准加法合并。这使方法不局限于直接获得 OFT 正交矩阵的场景。 作者报告，多任务实验显示 OrthoMerge 能缓解灾难性遗忘并维持模型性能，但摘要未列出模型、数据集、任务划分、对照方法及数值结果，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若多个 EEG 任务模型共享同一预训练骨干，且权重坐标与适配模块一致，可检验其能否减少跨被试适配模型合并后的能力退化；这不是论文已验证的 BCI 效果。可复用部分是正交分量提取与流形合并，需改造部分是 EEG 骨干的参数分组与任务头处理。低信噪比、小数据和通道配置差异可能使适配方向不稳定或参数对应失效。一个可证伪的小实验是在相同通道与共享骨干条件下，对比两个被试适配模型的 OrthoMerge 与加法合并，在固定留出数据上检查各被试任务性能是否同时保留。已有 EEG 相关工作尚未检索确认。