跳到正文
OpenReview · Representation learning· Zedong Wang; Siyuan Li; Dan Xu·· 2025-12-31精选AI 评分74

Rep-MTL:释放表征层任务显著性在多任务学习中的潜力

Rep-MTL: Unleashing the Power of Representation-level Task Saliency for Multi-Task Learning

AI 导读

基于摘要分析。该研究面向多任务学习中的负迁移与任务互补问题,提出 Rep-MTL,将干预位置从损失缩放和梯度操作扩展到共享表征空间。其核心是利用表征层任务显著性,刻画任务特定优化与共享表征学习之间的交互,并促进任务间的信息共享。 机制上,Rep-MTL 通过基于熵的惩罚和逐样本跨任务对齐来调控任务显著性。作者强调,目标不只是消除任务冲突,而是在维持各任务有效训练的同时增强互补性,因此该方法被定位为现有多任务优化器的补充。摘要未给出显著性的计算定义、熵惩罚的具体形式、对齐对象或训练开销细节,尚不能据此还原实现。 作者报告,在涵盖任务偏移与域偏移场景的四个多任务学习基准上,Rep-MTL 即使搭配基础等权重策略,也能取得有竞争力的性能收益,并具有较好的效率;摘要未提供基准名称、数据划分、对照方法或具体指标。作者还使用 Power Law 指数分析,支持其关于平衡任务特定学习与跨任务共享的解释,但分析对象及证据强度尚待正文核对。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 多任务学习中存在可逐样本对齐的任务监督,该机制可能用于缓解共享编码器中的负迁移;可复用的是显著性调控思路,需改造的是 EEG 编码器、任务头及对齐单位。低信噪比、跨被试差异、通道不一致及小数据可能使显著性不稳定,或使对齐抹去任务特有信息。一个可证伪的小实验是在固定跨被试划分和相同共享编码器下,比较等权重基线与加入 Rep-MTL 的各任务指标,并分别移除熵惩罚、跨任务对齐,检验收益是否稳定且不以牺牲某一任务为代价。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其表征层任务显著性的定义及与优化器的互补性:作者报告在等权重策略下亦有性能收益,但具体收益、对照公平性及 EEG 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net