跳到正文
OpenReview · Representation learning· Qi Wei; Shuo He; Enneng Yang; Tingcong Liu; Haobo Wang; Lei Feng; Bo An·· 2025-05-01精选AI 评分72

基于概率建模的模型合并表征修正

Representation Surgery in Model Merging with Probabilistic Modeling

AI 导读

基于摘要分析。该研究面向通用多任务模型合并:在不访问原始训练数据的情况下合并多个专家模型,并缓解合并模型与各专家模型之间的表征分布偏差。作者提出 ProbSurgery,以概率建模替代确定性偏差建模,旨在处理多个模型合并时参数干扰带来的不确定性;研究对象并非 EEG 或 BCI。 机制上,既有 Surgery 使用任务特定的 MLP 建模表征偏差,再据此修正合并后的表征。ProbSurgery 为每个样本生成嵌入分布,通过采样输出表征偏差。作者认为,概率化方式具有更强的建模能力,并提供理论分析;摘要还提及面向任务共享设置的扩展,但其具体结构及任务条件尚未验证。分布族、采样策略、损失函数、训练所需数据与监督,以及推理开销均无法从摘要确定。“无需原始训练数据”不等同于无需任何校准数据。 作者报告,实验支持 ProbSurgery 的表征修正效果,并在分布外及域偏移场景下保持泛化能力。摘要未给出数据集、模型规模、划分、对照配置或具体指标,因此不能量化相对 Surgery 的提升;实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设跨被试或跨会话 EEG 专家模型具有可合并的参数结构及兼容表征空间,概率化偏差修正可能用于缓解合并后的表征失配。可复用部分是嵌入分布建模与采样修正机制;需改造部分包括 EEG 编码器接口、任务条件和校准流程。低信噪比、通道不一致及小样本可能使分布估计不稳定,采样也可能增加预测方差。一个可证伪的小实验是在同架构 EEG 专家模型上,以固定校准预算比较未经修正的合并模型、Surgery 与 ProbSurgery,按明确的跨被试划分评估同一指标,并重复采样检查稳定性。已有 EEG 相关工作尚未检索确认,该迁移假设不构成已证实的 BCI 效果。

阅读价值

值得核对其概率化表征偏差建模相较确定性 Surgery 的理论依据与实验增益,尤其是分布外及域偏移评估,但其对 EEG/BCI 模型合并的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net