通过 Lasso 改进主动多任务表征学习
Improved Active Multi-Task Representation Learning via Lasso
基于摘要分析。本文研究目标任务样本稀缺时,如何主动选择源任务并分配采样,以提高多任务预训练的样本效率。核心贡献是采用基于 L1 正则化的目标—源任务相关性参数 ν¹ 的策略,并在该参数未知时通过 LASSO 进行估计,兼顾样本复杂度与稀疏源任务选择。 机制与理论:摘要将 Chen et al., 2022 的 A-MTRL 方法作为主要对照,该方法依据 L2 正则化的相关性参数 ν² 自适应采样源任务。作者报告,通过给出 ν² 策略的下界,建立 ν¹ 策略的严格优势;在 ν¹ 未知时,所提出的 LASSO 估计算法可恢复参数已知情形下的最优结果。上述结论所依赖的任务结构、假设条件及复杂度表达式尚未验证,不能据此推广为对任意多任务学习问题的优势。 实验与边界:作者还分析了采样成本敏感场景,并报告在真实计算机视觉数据集上进行了有效性实验。摘要未提供具体数据集、划分、指标、结果数值或训练规模;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将不同被试或会话视为源任务,并能从少量目标 EEG 数据估计其与源任务的相关性,该机制可能用于缓解跨被试预训练中的源任务冗余与负迁移。可复用的是相关性估计和源任务采样策略,需改造的是 EEG 表征、任务定义及采样成本建模。低信噪比、通道不一致和目标样本过少可能使相关性估计不稳定,稀疏选择也可能排除互补源任务。一个可检验的小实验是在固定源样本预算、严格分离目标适配集与测试集的跨被试 EEG 协议下,对比 ν¹/LASSO、ν² 与均匀采样,并检查任务选择稳定性和目标任务表现。已有 EEG 相关工作尚未检索确认。
值得关注其以 L1 正则化的目标—源任务相关性指导稀疏源任务选择的机制,以及相对 L2 策略的样本复杂度分析;其在 EEG 跨被试预训练中的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net