通过 Lasso 改进主动多任务表征学习
Improved Active Multi-Task Representation Learning via Lasso
基于摘要分析。本文研究目标任务样本稀缺时,如何主动选择源任务并分配采样,以提高多任务预训练的样本效率。核心贡献是用基于 L1 正则化的目标—源任务相关性参数 ν¹ 指导选择,并在该参数未知时通过 LASSO 进行估计。 理论机制与对照:摘要以 Chen et al., 2022 的主动多任务表征学习(A-MTRL)方法为对照,该方法依据基于 L2 正则化的相关性参数 ν² 自适应采样源任务。作者报告,通过给出 ν² 策略的下界,证明 ν¹ 策略在所研究的总源样本复杂度意义下严格占优;当 ν¹ 未知时,所提 LASSO 算法可恢复已知参数情形下的最优结果。其理论成立所需的数据生成、任务关系及估计条件尚未验证,不能据此推断任意任务集合均能获益。 评估与边界:作者还分析了不同源任务采样成本下该策略的潜力,并报告在真实计算机视觉数据集上开展实验以展示有效性。摘要未提供数据集名称、具体划分、对照配置或数值结果;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若不同被试或会话可作为共享表征的源任务,且目标任务仅与少量源任务高度相关,稀疏相关性估计可能帮助减少 EEG 迁移训练中的无效采样。可复用的是任务相关性估计与采样分配思路;需改造的是 EEG 表征、任务定义及采样成本建模。低信噪比、通道差异和目标标注过少可能使相关性估计不稳定,共享表征假设失效也可能导致负迁移。一个可证伪的小实验是在固定目标标注量和源样本预算的 Cross-subject 协议下,对比 LASSO 选择、L2 相关性策略与均匀采样,并核对目标任务表现和选择稳定性。已有 EEG 相关工作尚未检索确认。
值得核对其以 LASSO 估计目标—源任务相关性、实现稀疏源任务选择的理论条件与样本复杂度分析,但其在 EEG 跨被试迁移中的价值尚未验证。
来源:OpenReview · Representation learning · openreview.net