跳到正文
OpenReview · Representation learning· Yiping Wang; Yifang Chen; Kevin G. Jamieson; Simon S. Du·· 2023-01-01精选AI 评分80

通过 Lasso 改进主动多任务表征学习

Improved Active Multi-Task Representation Learning via Lasso

AI 导读

基于摘要分析。本文研究目标任务样本稀缺时,如何主动选择并采样源任务,以提高多任务预训练的样本效率。核心贡献是提出基于 L1 正则化目标—源任务相关性(ν¹)的策略,并在相关性未知时使用 LASSO 进行估计;原论文的实验对象是真实世界计算机视觉数据,而非 EEG 或 BCI。 既有主动多任务表征学习(A-MTRL)方法通过自适应采样源任务,利用 L2 正则化相关性参数(ν²)降低总样本复杂度。作者报告,通过给出 ν² 策略的下界,论证 ν¹ 策略在其理论设定下严格优于前者,并更适合希望仅选取少量源任务参与训练的场景。作者还报告,相关性未知时提出的 LASSO 估计算法可恢复相关性已知情形的最优结果,并分析了不同采样成本下该策略的潜力。上述结论依赖的模型假设、复杂度表达式及最优性适用范围尚未验证。 摘要提及计算机视觉实验,但未提供数据集名称、划分、基线或指标数值,因此无法判断收益大小及其稳定性;实验协议、消融及统计信息尚未验证。复现前需核对相关性参数的定义、估计所需的目标任务监督、源任务采样流程及采样成本设定。 平台推测(待验证):若将 EEG 中各被试或会话定义为共享表征的源任务,该机制可能对应跨被试或跨会话学习中的源任务筛选瓶颈。可尝试复用 LASSO 相关性估计与主动采样逻辑,但需适配 EEG 表征、通道差异和任务定义;低信噪比、少量目标标签及高度相关的源任务可能使稀疏选择不稳定。一个可检验的小实验是在固定目标训练标签和源样本预算、独立保留目标测试数据的条件下,比较 L1、L2 与均匀源任务采样的目标任务表现及选择稳定性。相关 EEG 工作尚未检索确认,原领域结论不能直接视为 BCI 有效性证据。

阅读价值

值得核对的是以 L1 正则化任务相关性替代 L2 策略的样本复杂度论证,以及用 LASSO 估计相关性来支持稀疏源任务选择的实现条件;其对 EEG 跨被试学习的价值尚未验证。

来源:OpenReview · Representation learning · openreview.net