跳到正文
OpenReview · Representation learning· Tianren Zhang; Chujie Zhao; Guanyu Chen; Yizhou Jiang; Feng Chen·· 2023-09-19精选AI 评分80

Feature Accompaniment:仅用分布内数据学习具备分布外泛化能力的表征是否可行?

Feature Accompaniment: Is It Feasible to Learn Out-of-Distribution Generalizable Representations with In-Distribution Data?

AI 导读

基于摘要分析。本文研究仅使用分布内数据能否学到具有分布外(OOD)泛化能力的表征,并提出名为 feature accompaniment 的泛化失败模式。作者结合分布偏移基准上的实证观察与结构化设定下的理论分析,将问题指向 SGD 训练的非线性神经网络的归纳偏置,而非仅归因于伪相关。 在实证部分,作者报告:即使采用允许模型在训练集上显式拟合良好表征的“oracle”表征学习目标,模型在多种分布偏移基准上的 OOD 表现仍不理想。摘要未给出具体基准、数据划分、对照方法及结果数值,因此尚不能判断这一现象在不同偏移类型下的程度与适用范围。 在理论部分,作者研究结构化设定下由随机梯度下降(SGD)训练的两层 ReLU 网络,并将所揭示的失败模式称为 feature accompaniment。作者认为,该模式源于非线性神经网络的归纳偏置,与通常强调的伪相关机制存在根本区别。摘要未展开其形式化定义、成立条件及证明细节,因而不能据此将结论扩展到所有网络或训练过程。作者的主要启示是:若不显式考虑这些归纳偏置,仅凭分布内数据学习 OOD 可泛化表征可能普遍面临困难,而非已经证明所有此类学习均不可行。 对 EEG/BCI,平台推测(待验证):这一分析可能为理解跨被试或跨会话中“训练表征良好但泛化失败”的现象提供理论视角,但摘要不足以确定 feature accompaniment 与 EEG 数据结构的具体对应机制,暂不提出迁移实验。已有 EEG 相关工作尚未检索确认;完整实验协议、消融及统计信息尚未验证。

阅读价值

值得阅读的是作者以 oracle 表征学习目标和两层 ReLU 网络的理论分析,考察训练集上的良好表征为何仍可能无法实现 OOD 泛化;其对 EEG 跨被试泛化的解释力尚未验证。

来源:OpenReview · Representation learning · openreview.net