跳到正文
OpenReview · Representation learning· Thomas T. Zhang; Bruce D. Lee; Ingvar M. Ziemann; George J. Pappas; Nikolai Matni·· 2024-01-01精选AI 评分82

非线性表征学习的理论保证:非同分布协变量、依赖数据与更少样本

Guarantees for Nonlinear Representation Learning: Non-identical Covariates, Dependent Data, Fewer Samples

AI 导读

该研究讨论不同数据源输入分布不一致、源内样本存在统计依赖时,如何学习可供目标任务复用的共享非线性表征,并给出样本复杂度与目标任务超额风险保证。基于摘要分析,未取得论文全文。 理论设定包含 T 个源任务和一个目标任务,各任务函数均由共享非线性表征 g_* 与任务特定线性函数 f_*^(t) 复合而成。每个源任务使用 N 个样本估计表征 ĝ,再用目标任务的 N′ 个样本拟合线性函数 f̂^(0)。这一设定依赖任务间存在可共享表征,并不直接覆盖任意任务差异或任意形式的数据依赖。 作者报告:当每个源任务的样本量满足 N ≳ C_dep[dim(F) + C(G)/T] 时,目标任务超额风险按 ν_div[dim(F)/N′ + C(G)/(NT)] 的量级衰减。其中,C_dep 描述数据依赖的影响,C(G) 表示表征类复杂度,ν_div 是作者称可估计的源任务与目标任务之间的任务多样性度量。作者报告,随着 T 增加,源任务样本要求和风险界趋近于已知共享表征时的 r 维回归情形;在其理论条件下,依赖性仅进入样本要求,风险界形式与独立同分布情形一致。这不等于依赖数据可以无条件按独立样本处理。 平台推测(待验证):其机制可能对应跨被试 EEG 中的输入分布差异与时间相关性。可复用的是“共享非线性表征+任务特定线性头”的分析框架;需要核对或改造的是被试间共享表征假设、任务多样性度量及 EEG 时间依赖条件。低信噪比、通道配置差异和目标被试小样本可能破坏上述对应。一个可证伪的小实验是在固定目标被试训练量、保持测试时间块独立的前提下,改变源被试数量,检验目标风险是否下降,并与目标被试单独训练对照。该实验仅检验迁移假设,不构成对定理的验证;已有 EEG 相关工作尚未检索确认。具体定理条件、常数、实验协议、消融及统计信息尚未验证。

阅读价值

该研究为输入分布不同且源内样本存在统计依赖的多任务非线性表征学习提供条件性样本复杂度保证,值得核对其任务多样性与依赖性假设是否适用于跨被试 EEG;尚不能据此认定 BCI 迁移有效。

来源:OpenReview · Representation learning · openreview.net