任务分组正则化:基于异构预训练模型的无数据元学习
Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models
基于摘要分析。本文研究无数据元学习(Data-Free Meta-Learning,DFML):在不访问预训练模型原始数据的条件下,从多个模型中提取知识,以支持对未见任务的快速适应。作者提出 Task Groupings Regularization,通过任务分组与组内隐式梯度正则化,缓解异构预训练模型之间的任务冲突,学习跨任务共享表征。 作者报告通过实证与理论分析识别了模型异构性带来的“异构性—同质性权衡”:同质模型可减少任务冲突,但也会增加过拟合风险。方法先将预训练模型嵌入任务空间,计算模型间的不相似度,再依据该度量将异构模型分组;随后在各组内部施加隐式梯度正则化,鼓励形成适合组内各任务的梯度方向。摘要未提供任务空间的构造、分组算法、正则化的数学形式,以及无原始数据条件下所用训练信号的具体来源。 作者报告,该方法在多个基准的多域、多架构场景中优于对照方法,但摘要未列出基准名称、任务划分、评价指标或数值。实验协议、消融及统计信息尚未验证,尚不能判断分组和正则化各自的贡献,也不能据此比较不同评估协议下的效果。 平台推测(待验证):若存在一组针对相同 EEG 任务、但来自不同被试或会话的可访问预训练模型,该机制可能用于研究无法共享原始信号时的知识整合。可复用部分是任务相似性度量、分组策略和冲突缓解思路;需改造任务空间,使其适配 EEG 的通道配置、时间结构与标签语义。低信噪比、小样本及跨被试差异可能使模型不相似度主要反映噪声或采集条件,而非可迁移的任务关系。一个可证伪的小实验是:在标签空间一致的 Cross-subject EEG 任务中,仅向元学习阶段提供源被试模型,按相同目标被试适应协议比较不分组、随机分组和所提分组,并核对组内梯度冲突与目标任务表现是否同步改善。相关 EEG 工作尚未检索确认。
值得核对其任务空间分组与隐式梯度正则化能否兼顾任务冲突和过拟合,尤其是多域、多架构预训练模型条件下的对照证据;其对 EEG 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net