跳到正文
OpenReview · Representation learning· Austin Watkins; Enayat Ullah; Thanh Nguyen-Tang; Raman Arora·· 2023-09-22精选AI 评分81

多任务表征学习的乐观收敛率

Optimistic Rates for Multi-Task Representation Learning

AI 导读

基于摘要分析。本文研究通过多任务表征学习(Multi-Task Representation Learning,MTRL)实现迁移学习:利用多个源任务学习共同表征,再在该表征之上训练目标任务预测器。核心贡献是给出目标任务超额风险的新统计收敛界,说明在特定假设下共享表征的收益。 理论机制:在损失函数满足标准正则性假设、任务满足多样性条件的前提下,作者报告所得收敛率具有“乐观”性质,即随学习任务难度在标准 O(m^{-1/2}) 与快速 O(m^{-1}) 之间插值,其中 m 为目标任务样本数。这是带有适用条件的理论风险界,不是实验 Accuracy,也不意味着所有目标任务都能达到快速收敛率。摘要尚不足以核对任务难度的具体刻画、源任务数量与样本量如何进入界,以及相关常数和表征类复杂度的作用。 其他贡献包括源任务超额风险的乐观收敛界,即多任务学习(MTL)的相关结果;适用于 MTRL 和 MTL 的局部 Rademacher 复杂度定理;以及复合预测器类的局部 Rademacher 复杂度链式法则。全文证明、具体损失、训练程序、实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设不同被试的 EEG 解码任务存在可共享表征,可将源被试视为多个源任务、目标被试视为目标任务,用该理论审视少量目标标签下的泛化问题。可复用的是共享表征与目标预测器的分析框架;需进一步核对 EEG 损失、表征类及跨被试任务结构是否满足原文假设,而非直接视为新的 BCI 算法。低信噪比、被试异质性、通道不一致和小样本可能削弱共享结构或使理论界缺乏实际解释力。一个可检验的小实验是在固定源被试数据、统一通道且隔离目标测试集的条件下,改变目标训练样本量,对照共享表征与仅目标数据训练的预测器,观察目标风险及迁移收益的变化;该实验只能检验经验趋势,不能替代理论假设验证。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其目标任务超额风险的乐观收敛界及局部 Rademacher 复杂度工具,以核对共享表征何时能改善小样本迁移;对跨被试 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net