跳到正文
OpenReview · Representation learning· Dayou Mao; Yuhao Chen; Yifan Wu; Maximilian Gilles; Alexander Wong·· 2024-01-01精选AI 评分77

重新思考多任务学习中的资源竞争:从共享参数到共享表征

Rethinking Resource Competition in Multi-Task Learning: From Shared Parameters to Shared Representation

AI 导读

该研究讨论 Multi-Task Learning(MTL)中多个任务如何竞争共享资源,将分析重点从骨干网络的共享参数转向供各预测头使用的共享表征,并提出名为 Feature Disentanglement 的测量指标。基于摘要分析,论文主要贡献是对 MTL 解释框架及一种梯度计算近似进行经验性审视,而非提出面向 EEG 或 BCI 的算法。 在共享骨干与多个任务预测头的框架下,既有解释通常关注任务冲突、任务主导和梯度稳定性。作者报告,其大规模实证研究发现这些因素与模型性能之间的因果关系较弱,并认为考察不同预测头如何利用共享表征,比考察任务监督信号如何在共享参数中相互干扰更可靠。摘要未提供 Feature Disentanglement 的数学定义、测量流程或因果识别设计,因此其解释能力及适用范围尚未验证。 论文还考察以共享表征梯度替代共享参数梯度来降低计算开销的做法。作者报告,这种快速近似在实践中没有一般性的有效保证,需进一步的理论分析支撑;这一结论不等于该近似在所有任务中均无效。具体任务、数据集、模型规模、对照基线、性能指标、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 研究采用共享编码器与多个监督任务头,该视角可能帮助检查各任务是否实际利用了可区分的表征,而不只检查梯度冲突。可复用的是表征层面的诊断思路,测量实现则需等待全文并适配 EEG 的时空结构。低信噪比、跨被试差异、通道变化与小样本可能使测量受噪声或被试身份特征主导。一个小规模可证伪实验是:固定 EEG 多任务模型、数据划分与训练预算,在多次重复训练中比较 Feature Disentanglement 与梯度冲突指标对留出集各任务性能变化的解释是否稳定。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其以 Feature Disentanglement 分析多任务共享表征竞争的测量定义与对照实验,以及共享表征梯度替代共享参数梯度的适用边界;摘要中的因果关系判断仍需全文证据支持。

来源:OpenReview · Representation learning · openreview.net