LS-Merge：在潜空间中合并语言模型

基于摘要分析。LS-Merge 研究不同架构语言模型的合并问题：将模型权重编码到潜空间，在其中合并表示，再解码回权重，以缓解现有权重空间合并方法依赖架构匹配的限制。其主要研究对象是语言模型，并非 EEG 或 BCI 模型。 方法采用基于 Transformer 的 VAE，并通过结合层感知分块的两阶段压缩课程训练，先学习高容量表示，再将其蒸馏为紧凑编码，目标是兼顾大规模权重编码成本、稳定性及对未见权重的泛化。针对不同模型规模，方法进一步使用维度匹配投影与基于最优传输的分布对齐，支持跨规模插值。摘要未给出具体损失、压缩比例、解码目标架构或训练权重来源。 作者报告，在其异构模型合并实验中，潜空间插值比直接权重平均更稳健，并获得更好的下游表现；但摘要未列出模型、任务、评估指标、数值或数据划分，因此不能判断收益幅度及不同合并设置的可比性。实验协议、消融及统计信息尚未验证，编码与解码开销、合并后能力保留情况也需查阅全文。 平台推测（待验证）：若 EEG 模型也存在需要复用的异构预训练权重，该方法可能为避免直接逐参数平均提供机制参考；但这是假设，不代表已验证的 EEG 效果。可复用思路是权重编码—潜空间合并—权重解码，需改造层与通道语义对齐、目标架构映射及训练权重集合。小数据下可用模型权重不足，以及跨被试、通道配置差异和低信噪比造成的功能不一致，都可能使潜空间接近无法转化为任务性能。小规模检验可先在同一 EEG 任务、相同输入通道的两种编码器上，固定数据划分，比较潜空间合并、单模型与输出集成，并将 VAE 训练模型池限制在训练划分内，观察留出被试表现及总训练成本。已有 EEG 相关工作尚未检索确认。