跳到正文
arXiv · 表征与预训练· Yuling Jiao; Lican Kang; Jerry Zhijian Yang; Zhou Yu; Fusheng Zhou·· 4 天前精选AI 评分75

用于无监督域适应的联合对比—对抗表征学习

Joint Contrastive-Adversarial Representation Learning for Unsupervised Domain Adaptation

AI 导读

基于摘要分析。本文研究如何利用有标签源域与无标签目标域学习可迁移表征,提出 Joint Contrastive-Adversarial Representation Learning(JCAR),并为其两阶段学习流程建立非渐近超额风险界。原论文主要面向通用无监督域适应,实验涉及视觉数据集,并非 EEG 或 BCI 验证。 方法首先将源域与目标域样本合并,在不使用标签的表征学习阶段结合对比学习与对抗式域对齐;随后冻结表征,仅用源域标签拟合下游预测器。其理论分析耦合表征与域判别器的估计误差,同时单独处理下游预测误差,并显式纳入神经网络逼近误差。具体对比样本构造、损失形式及优化配置尚未验证。 作者报告,在所述假设成立、共同 Hölder 光滑度 β≥1 且无标签样本足够多的条件下,下游收敛速率为 Õ(m^{-β/(2β+d)}),其中 m 为有标签源域样本数,d 为潜在维度,符号省略对数因子。有标签样本的速率指数由 d 而非环境维度 p 决定,但 p 仍进入预训练成本;这不是不依赖假设的通用样本效率保证。作者报告在 Office-31、Office-Home 和 DomainNet 的域迁移实验中获得性能增益,尤其是在从头学习表征时;摘要未提供具体指标、数值、划分或对照配置,实验协议、消融及统计信息尚未验证。 平台推测(待验证):其“无标签联合预训练—冻结表征—源域监督预测”流程可作为跨被试 EEG 域适应的候选方案。可复用训练流程与域判别模块,但编码器及对比增强需适配 EEG 时空结构。低信噪比、通道差异和小样本可能使对比学习捕获伪迹,或使域对齐抹去任务相关差异。一个可检验的小实验是在固定跨被试划分、目标域标签仅用于评估的条件下,对比联合训练、仅对比学习及仅域对齐,并保持编码器和训练预算一致。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 JCAR 如何将无标签表征学习与源域监督预测解耦,以及其潜在维度驱动的风险界所需假设;视觉域适应结果尚不能证明其对 EEG 的有效性。

来源:arXiv · 表征与预训练 · arxiv.org