最大化域不变表征中的信息以改善迁移学习
Maximizing Information in Domain-Invariant Representation Improves Transfer Learning
基于摘要分析。本文主要研究图像域适应中的表征分解问题:将数据表征拆为域不变表征(DIRep)与域相关表征(DDRep)时,目标域分类所需的信息可能留在 DDRep 中,导致仅使用 DIRep 的分类器迁移受限。作者提出对 DDRep 施加更强的信息约束,以减少其中的信息量,并促使 DIRep 保留与目标标签相关的信息。 机制上,论文以 Domain-Separation Networks(DSN)为主要参照。作者认为,DSN 用于分离两类表征的正交约束较弱,不能充分阻止判别信息“隐藏”在 DDRep 中。新方法通过更强约束缓解这一问题,但摘要未给出信息量的定义、估计方法、具体损失形式,以及目标域标签是否及如何参与训练,均需全文核对。 作者报告,在合成数据实验中,DSN 的解会受初始化影响,并可能产生域适应性能较差的次优解,而所提方法对这类初始化扰动更稳健。作者还报告,在若干标准图像基准上,该方法与 DSN 及其他近期域适应方法相比表现相当或更好,并展示了与预训练图像模型的兼容性及网络入侵检测应用。摘要未提供基准名称、数据划分、指标或数值;实验协议、消融及统计信息尚未验证,不能据此判断收益幅度或普适性。 平台推测(待验证):其可迁移假设是,跨被试或跨会话 EEG 中,任务判别信息也可能与域相关因素共同进入 DDRep;可复用的是表征分解与信息约束思路,需改造的是 EEG 编码器及域因素建模。该假设依赖任务标签在域间具有可迁移性,但低信噪比、通道差异、小样本及个体特异生理信息可能使压缩 DDRep 反而丢失有效信号。一个可检验的小实验是在固定 EEG 编码器和跨被试划分下,对比 DSN 与该约束方法,在多个随机初始化下检查同一分类指标的均值及波动。已有 EEG 相关工作尚未检索确认。
值得关注其对域不变与域相关表征分解中判别信息流失问题的机制分析,尤其是与 DSN 的初始化敏感性对照;约束的具体实现及其对 EEG 域适应的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net