用于多任务模型合并的表征手术
Representation Surgery for Multi-Task Model Merging
基于摘要分析。本文研究多任务模型合并中的表征偏差:将独立训练的多个模型合并后,合并模型与各单任务模型的表征分布可能存在明显差异。作者提出轻量级、任务特定的插件 Surgery,通过表征校正改善合并后的多任务学习(MTL)性能;原研究对象是通用模型合并,并非 EEG 或 BCI。 机制上,Surgery 以合并模型的表征为输入,尝试估计其中的偏差,并通过无监督优化目标缩小合并模型与对应单任务模型之间的表征距离。其思路是在已有合并方案之上增加任务相关校正,而非重新收集各任务原始数据进行联合训练。摘要未说明插件结构、距离度量、偏差的具体校正方式,以及优化时所需样本来源和模型访问条件,这些均尚未验证。 作者报告,将 Surgery 应用于已有 SOTA 模型合并方案时,多任务性能得到显著改善。摘要未提供数据集、任务组合、评价指标、具体增益或统计检验信息,因而尚不能判断改善幅度、计算代价及适用边界;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若多个 EEG 任务模型具备兼容的骨干和表征空间,可检验任务特定校正能否缓解合并引起的表征偏移。可复用的是表征距离优化与轻量插件思路;需改造的是 EEG 特征接口及校准数据协议。原方法依赖对应单任务模型提供表征参照,但所需数据规模和监督条件尚不明确。低信噪比、通道配置差异、跨被试分布偏移及小样本校准都可能使插件拟合噪声或被试特征。一个小规模可证伪实验是固定兼容骨干与模型合并方案,在相同 EEG 数据划分下比较加入插件前后的任务指标和表征距离,并将校准数据与测试数据严格分离;若距离缩小却无任务指标改善,则不支持该迁移假设。已有 EEG 相关工作尚未检索确认。
值得核对其任务特定表征校正插件能否稳定改善不同模型合并方案,尤其是无监督校准所需数据与原单任务模型的访问条件;其 EEG 适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net