SurgeryV2:通过深层表征手术弥合模型合并与多任务学习之间的差距
SurgeryV2: Bridging the Gap Between Model Merging and Multi-Task Learning with Deep Representation Surgery
基于摘要分析。本文研究通过合并多个专家模型实现多任务学习(MTL)时的表征偏差问题,提出任务特定的表征校正模块 Surgery,并进一步提出逐层缓解偏差的 SurgeryV2。主要研究对象是通用模型合并与 MTL,而非 EEG 或 BCI。 核心机制:作者将合并模型与专家模型之间的表征分布差异称为“representation bias”。Surgery 使用轻量、任务特定的模块对齐双方的末层表征;作者进一步指出,偏差存在于各层,并可能逐层累积、相互作用,因此 SurgeryV2 将校正扩展到所有层。两种模块均通过无监督优化目标训练,但摘要未给出目标函数、模块结构及具体训练流程。“合并不需要原始训练数据”不等于校正阶段不需要任何数据,其数据来源、规模与访问条件尚待核对。 作者报告,将这些模块加入现有先进模型合并方案后可获得显著性能提升,SurgeryV2 的表现接近单独专家模型或传统 MTL 模型。摘要未提供任务、数据集、指标、数值及评估划分,因此无法判断提升幅度及适用边界;实验协议、消融及统计信息尚未验证。摘要提供了代码仓库,但代码完整性与复现条件尚未验证。 平台推测(待验证):假设多个 EEG 专家模型具有可对应的网络层与表征空间,可探索复用其任务特定校正和逐层对齐机制,以缓解合并模型相对专家模型的表征偏移;任务输出、通道输入和层间对应方式需要改造。该机制不直接等同于解决跨被试域偏移,低信噪比、通道差异及小规模校正数据可能使对齐不稳定,也可能保留专家模型自身的偏差。一个可检验的小实验是固定专家训练与合并方案,在严格隔离的跨被试测试集上比较未校正、末层校正和逐层校正,并同时检查表征距离与任务性能是否一致改善。已有 EEG 相关工作尚未检索确认。
值得核对其逐层表征对齐能否缓解模型合并后的性能损失,尤其是无监督优化的数据需求与相对末层对齐的增益;其 EEG/BCI 适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net