跳到正文
OpenReview · Representation learning· Seokwon Shin; Hyungrok Do; Youngdoo Son·· 2024-01-01精选AI 评分73

通过自监督辅助学习进行多任务学习表征学习

Learning Representation for Multitask Learning Through Self-supervised Auxiliary Learning

AI 导读

基于摘要分析。本文研究硬参数共享多任务学习中,共享编码器如何生成适用于各个任务的表征,提出 Dummy Gradient norm Regularization(DGR),通过减小损失函数相对于虚拟任务特定预测器的梯度范数,提升共享表征的通用性。 其机制关注预测器参数方向上的损失梯度,而不是仅以各任务预测结果评价共享表征。摘要未说明虚拟预测器如何构造、辅助学习的监督来源、正则项的具体形式与优化流程,因此不能进一步确定其自监督实现或额外计算需求。 作者报告,在多个多任务学习基准数据集上,DGR 改善了共享表征质量和多任务预测表现;将所得表征用于多种分类器时,也优于所比较的现有多任务学习方法。作者同时称该方法简单、计算高效,可与现有多任务学习算法结合。摘要未提供数据集名称、划分协议、具体指标、提升幅度或计算开销,实验协议、消融及统计信息尚未验证。材料提供了 GitHub 实现链接,但代码内容与复现条件尚未核验。 平台推测(待验证):若 EEG 多任务学习采用共享编码器与任务特定预测头,DGR 可作为共享表征正则化的候选机制;可复用的是梯度范数约束思路,需适配的是 EEG 编码器、任务定义及虚拟预测器构造。该假设依赖多个任务具有可共享的信息,原领域结果不等于 BCI 有效性。低信噪比、跨被试差异、通道配置变化及小数据条件可能使梯度约束抑制有用的任务特异信息。可在固定被试划分和通道配置下,对同一 EEG 多任务模型比较加入与不加入 DGR 的逐任务表现及训练开销,检验收益是否一致、是否存在任务退化。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 DGR 对虚拟任务特定预测器梯度范数的正则化如何改善共享表征,以及其与现有多任务学习算法结合时的收益和计算开销;摘要尚不足以确认具体适用条件。

来源:OpenReview · Representation learning · openreview.net