跳到正文
OpenReview · Representation learning· You-Wei Luo; Chuan-Xian Ren·· 2024-01-01精选AI 评分79

当不变表示学习遇到标签偏移:不足与理论洞见

When Invariant Representation Learning Meets Label Shift: Insufficiency and Theoretical Insights

AI 导读

基于摘要分析。本文研究数据集分布偏移下不变表示学习的局限,以 generalized label shift(GLS,广义标签偏移)为分析框架,提出泛化理论结果及基于核嵌入的校正算法 KECA,目标是改善分布变化条件下的知识迁移。 理论方面,作者报告推导了两个泛化界,并从贝叶斯视角论证 GLS 学习器能够充分接近最优目标模型。作者据此指出,仅学习不变表示不足以保障泛化,并在论文所设条件下论证 GLS 校正对泛化的充分性与必要性。摘要未列出这些结论的具体假设、误差项及适用范围,因此不能将其理解为对所有分布偏移问题均成立的无条件结论。 方法方面,论文对已有偏移校正框架给出统一视角,并提出 kernel embedding-based correction algorithm(KECA),以降低泛化误差。作者报告实验支持 GLS 校正的作用及所提算法的优势,但摘要未提供数据集、划分协议、对照方法或具体指标;核嵌入的构造、校正量估计方式、目标域标签需求、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 跨被试或跨会话任务的分布变化符合本文 GLS 假设,其校正思路可能有助于检验单纯对齐表示是否足够。可复用部分是偏移校正框架,需改造和核对的是 EEG 表示、核函数及校正量的估计条件;低信噪比、通道差异与小样本可能导致估计不稳定。一个可检验的小实验是在固定 EEG 表示与跨被试划分下,控制目标域类别比例,比较不变表示基线与加入 KECA 校正后的表现,并预先明确可使用的目标域信息。此为迁移假设,不是已证实的 BCI 效果;已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其关于不变表示学习不足与 GLS 校正条件的理论分析,并核对 KECA 的适用假设;其对 EEG 跨被试迁移的价值尚未验证。

来源:OpenReview · Representation learning · openreview.net