通过目标感知表征解耦实现准确知识迁移
Towards accurate knowledge transfer via target-awareness representation disentanglement
该研究针对小样本迁移学习中直接保留源模型知识可能引发负迁移的问题,提出 Target-awareness REpresentation Disentanglement(TRED):从源模型表征中解耦出与目标任务相关的知识,再将其作为目标模型微调的正则化参照。基于摘要分析,未取得论文全文。 其出发点是以预训练起点为参照的正则化方法(SPAR):通过权重或特征约束保留预训练知识,但源任务与目标任务的域差异可能使部分知识不适用。TRED 不直接保留全部源知识,而是引入最大化 Maximum Mean Discrepancy(Max-MMD)和最小化互信息(Min-MI)两种解耦策略。摘要未说明具体表征划分、目标相关性的监督方式、互信息估计器或完整损失形式。 作者报告,在多个真实世界数据集上,相较标准微调平均提升超过 2%(摘要原文如此,未明确该增幅是相对百分比还是百分点,也未给出各数据集指标与划分),并优于 L²-SP、AT、DELTA 和 BSS 等迁移学习正则化方法。作者报告,联合使用 Max-MMD 与 Min-MI 通常可获得更高 Accuracy,而低资源预算下可优先考虑仅使用 Max-MMD。具体实验协议、消融及统计信息尚未验证,不能据此认定其在所有迁移任务上均有效。 平台推测(待验证):其可复用部分是“筛选目标相关源知识后再约束微调”的机制,可对应 EEG 跨被试迁移中源被试信息与目标任务信息混杂的瓶颈。该方法依赖预训练源模型及有限目标训练样本,但具体数据结构与监督需求仍需核对;迁移至 EEG 时需改造信号编码器、通道对齐与特征参照位置。低信噪比、通道差异和目标样本不足可能使解耦错误保留被试特异信息。可检验的小实验是在固定源模型、目标训练样本预算和跨被试划分下,对比标准微调、L²-SP 与 TRED,使用同一指标检查收益及负迁移个例;具体实现应以全文为准。已有 EEG 相关工作尚未检索确认。
值得关注其将源模型中与目标任务相关的知识解耦后再用于微调正则化的机制,可用于研究负迁移与知识保留之间的权衡,但其对 EEG 跨被试迁移的有效性尚未验证。
来源:OpenReview · Representation learning · openreview.net