跳到正文
OpenReview · Representation learning· Emily Mu; John Guttag; Maggie Makar·· 2023-09-23精选AI 评分72

多任务对比学习

Multitask Contrastive Learning

AI 导读

基于摘要分析。本文研究多任务学习中不同任务对样本相似性的定义可能不一致的问题,提出 Multi-Task Contrastive Loss(MTCon),同时利用多个相似性度量的监督学习嵌入,并根据任务不确定性学习权重,以降低不确定任务的影响。 机制上,单任务监督对比学习通常拉近同类样本、推远异类样本,但同一对样本在不同任务下可能具有不同的相似关系。MTCon 的核心思路是将这些任务相关的监督共同纳入表示学习,而不是仅采用一种类别关系。摘要未给出损失公式、相似性度量的具体定义、不确定性的估计方法及权重优化流程,这些实现细节尚未验证。 作者报告,在三个不同的多任务数据集上,使用 MTCon 训练的网络在域内及域外多任务学习场景中,均优于使用加权多任务交叉熵训练的网络;作者还报告,学习得到的任务权重改善了对新任务的域外泛化。摘要未提供数据集名称、具体划分、指标、提升幅度及统计信息,实验协议、消融及统计信息尚未验证。代码仅被承诺于发表时提供,不能据此确认当前已公开,也不能推断论文已发表。 平台推测(待验证):若 EEG 数据具有多个任务标签或可明确构建的多种监督相似关系,MTCon 可作为共享表示学习的候选目标,用于检验单一相似性约束是否限制多任务解码。可复用的是多任务对比目标与不确定性加权思路;需改造 EEG 编码器、样本配对规则及任务监督接口。低信噪比、小样本或被试与通道差异可能使不确定性估计不稳定,也可能把困难但有用的任务过度降权。一个可证伪的小实验是:在具有多任务标注的 EEG 数据上,固定编码器与训练预算,采用严格的跨被试划分,对比加权多任务交叉熵、固定权重对比学习与 MTCon,并分别报告各任务指标及权重变化。原领域结果不等于 BCI 有效性;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 MTCon 如何协调多任务间不同的相似性定义,以及基于任务不确定性的权重是否确实改善新任务上的域外泛化;摘要尚不足以判断其对 EEG 的适用性。

来源:OpenReview · Representation learning · openreview.net