基于 LASSO 改进主动多任务表征学习
Improved Active Multi-Task Representation Learning via Lasso
基于摘要分析。本文研究目标任务样本稀缺时,如何主动选择并采样源任务,以提高多任务预训练的样本效率。核心贡献是以 L1 正则化的目标—源任务相关性参数 ν¹ 指导采样,并在该参数未知时使用 LASSO 进行估计。 理论机制:既有 Chen et al., 2022 方法依据 L2 正则化相关性参数 ν² 自适应采样源任务。作者报告,通过给出 ν² 策略的下界,论证 ν¹ 策略在总源样本复杂度上的严格优势;在 ν¹ 未知时,所提 LASSO 估计算法可恢复相关性已知情形的最优结果。论文还分析了源任务采样成本不同的情形,意在兼顾样本效率与稀疏源任务选择。上述结论依赖的任务关系、数据分布及理论适用条件需查阅正文,不能据摘要推广为任意多任务问题上的优势。 实验证据:作者报告在真实计算机视觉数据集上进行了实验以展示方法有效性,但摘要未给出数据集名称、划分、基线或具体指标;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 跨被试或跨会话任务具有可共享的表征,且仅少量源任务与目标任务高度相关,该机制可能用于减少无关源任务的采样。可复用的是相关性估计与采样决策,需改造的是 EEG 表征、任务定义及采样成本模型。低信噪比、通道不一致、被试差异和少量目标样本可能使稀疏相关性估计不稳定。一个可检验的假设是:在固定总源样本预算、目标训练样本量及独立测试划分下,LASSO 引导的源被试选择优于均匀采样;应同时记录预测指标与所选源任务的稳定性。已有 EEG 相关工作尚未检索确认。
值得核对其以 L1 正则化任务相关性改善源任务采样复杂度的理论条件,以及 LASSO 相关性估计能否支持稀疏、成本敏感的源任务选择;摘要中的视觉实验尚不能证明其对 EEG 有效。
来源:OpenReview · Representation learning · openreview.net