LS-Merge：在潜在空间中合并语言模型

基于摘要分析。LS-Merge 研究预训练语言模型的异构合并问题：传统权重空间合并通常依赖模型架构或规模匹配，本文将权重编码到潜在空间，在其中合并后再解码为权重，以支持不同架构或规模模型之间的操作。 核心方法是基于 Transformer 的变分自编码器（VAE），结合具有层结构感知的权重分块和两阶段压缩课程：先学习高容量潜在表示，再蒸馏为紧凑编码，旨在兼顾大规模权重编码的计算可行性、训练稳定性及对未见权重的泛化。针对异构模型，方法另引入维度匹配投影，使不同规模模型的潜在表示可以进行插值。摘要未提供具体损失、分块规则、投影训练方式或解码目标架构，这些实现条件尚未验证。 作者报告，在所评估的模型合并设置中，潜在空间插值比直接权重空间平均更稳健，且合并不同规模模型时下游表现更好。摘要未列出模型、任务、数据划分、量化指标或计算开销，因此尚不能判断收益幅度、适用边界及总体成本；实验协议、消融及统计信息尚未验证。“架构无关”是作者对方法的概括，不能据此推断其已覆盖任意网络结构。 平台推测（待验证）：若不同 EEG 解码模型的权重能够学习到可对齐、可解码的潜在表示，该机制可能用于探索跨模型规模的知识复用；这依赖训练模型集合及其权重结构，而非仅有 EEG 样本。可复用的是权重编码、压缩课程和潜在插值思路，需改造的是 EEG 网络的层结构分块、异构对齐与目标模型解码。低信噪比、跨被试差异、通道配置不一致以及可用模型数量有限，都可能使潜在距离无法反映功能相似性。一个可证伪的小实验是在固定任务、通道与严格数据划分下，先检验同架构 EEG 模型的编码重建能否保留解码性能，再比较潜在插值与直接权重平均；通过后再扩展至不同规模。上述迁移并非本文已验证结果，已有 EEG 相关工作尚未检索确认。