跳到正文
OpenReview · Representation learning·· 22 天前精选AI 评分76

面向无监督域适应的联合对比—对抗表征学习

Joint Contrastive-Adversarial Representation Learning for Unsupervised Domain Adaptation

AI 导读

基于摘要分析。本文研究无监督域适应如何同时利用有标签源域与无标签目标域中的可迁移结构,提出 Joint Contrastive-Adversarial Representation Learning(JCAR),通过两阶段训练将共同表征学习与下游监督预测分离,并分析其非渐近超额风险。 机制上,第一阶段合并源域与目标域样本,在不使用标签的表征学习中结合对比学习和对抗式域对齐;第二阶段冻结表征,仅以源域标签拟合预测器。摘要未说明对比样本构造、具体损失、网络架构或训练调度,这些实现细节尚未验证。 理论上,作者给出的风险界耦合表征与域判别器的估计误差,同时将下游预测误差分离,并显式纳入神经网络逼近误差。在论文所述假设、共同 Hölder 平滑度 β≥1 且无标签样本足够多的条件下,作者报告下游收敛率为 Õ(m^{-β/(2β+d)}),其中 m 为有标签源域样本数,d 为潜在维度,省略对数因子;环境维度 p 则进入预训练成本。该结论是条件性理论结果,不能直接等同于任意域偏移下的泛化保证。 实验方面,作者报告在 Office-31、Office-Home 和 DomainNet 上获得迁移收益,尤其是在从零学习表征时表现较强。具体迁移方向、数据划分、对照基线、指标数值、消融及统计信息尚未验证,尚不能量化收益或比较不同协议。 平台推测(待验证):其潜在 EEG 迁移路径是假设跨被试或跨会话数据存在共同低维任务结构,以目标域无标签 EEG 辅助学习表征,再冻结表征训练源域预测器。两阶段流程与域判别器思路可能复用,但 EEG 编码器、对比增强及正负样本构造需适配时序和通道结构。低信噪比、通道差异、小数据及任务相关的被试差异可能导致错误对齐。可在固定 Cross-subject 划分下,比较源域监督、仅对比学习与联合对比—对抗学习,确保目标测试标签不参与训练,并观察收益是否随目标域无标签样本量变化。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的具体原因是 JCAR 将联合无标签表征学习与源域监督预测分开,并给出关联表征及域判别器估计误差的风险界,可用于核对无标签数据规模与潜在维度如何影响域适应的样本效率。

来源:OpenReview · Representation learning · openreview.net