非线性表征学习的理论保证:非同分布协变量、依赖数据与更少样本
Guarantees for Nonlinear Representation Learning: Non-identical Covariates, Dependent Data, Fewer Samples
基于摘要分析。本文研究多来源输入分布不一致、且各来源内部数据可能存在统计依赖时,如何学习共享非线性表征,并为目标任务的迁移学习提供统计保证。主要贡献是将表征学习理论扩展到上述非 iid 场景;研究对象是一般多任务学习,数值实验涉及非线性动力系统的模仿学习,并非 EEG 或 BCI 验证。 技术设定:共考虑 T 个源任务和一个目标任务,各任务函数写作 f★^(t)∘g★,其中 g★ 是共享非线性表征,f★^(t) 是任务特定的线性函数。每个源任务使用 N 个样本估计表征 ĝ,再用目标任务的 N′ 个样本、通过 ĝ 拟合目标任务函数 f̂^(0)。 作者报告,在其理论条件下,目标任务估计的超额风险以 Õ(C(G)/(NT)+dim(F)/N′) 的速率衰减,其中 C(G) 表示表征函数类 G 的复杂度。该表达式区分了共享表征估计与目标任务拟合的样本成本。作者报告,该速率与 iid 情形匹配,所需每任务样本数少于既有分析,且界中不依赖混合时间;但摘要未给出具体分布、依赖性及任务条件,不能据此理解为适用于任意相关数据。作者以非线性动力系统模仿学习数值实验支持分析,具体实验协议、对照、消融及统计信息尚未验证。 平台推测(待验证):其机制可能对应跨被试 EEG 中的输入分布差异、时间依赖和少样本目标被试适配,但前提是不同被试确有共享表征,且任务可由该表征上的线性函数描述。可复用的是多源共享编码器与目标任务线性适配框架;通道布局、信号预处理及任务监督需另行适配。低信噪比、被试特异性和小样本可能破坏这些前提。一个可检验的小实验是:在固定 EEG 任务中,以多个源被试训练表征,冻结后用目标被试少量标注拟合线性头,与仅用目标样本训练的基线比较,并按连续时间块划分数据,检验增加源任务是否稳定降低目标误差;这不等于验证原定理。已有相关 EEG 工作尚未检索确认。
该研究为输入分布不同且源内存在统计依赖的多任务非线性表征学习提供样本复杂度保证,值得核对其分布与依赖条件,但这些保证能否覆盖跨被试 EEG 尚未验证。
来源:OpenReview · Representation learning · openreview.net