跳到正文
OpenReview · Representation learning· Shuxiao Chen; Koby Crammer; Hangfeng He; Dan Roth; Weijie J. Su·· 2021-01-01精选AI 评分77

跨任务学习的加权训练

Weighted Training for Cross-Task Learning

AI 导读

基于摘要分析。本文研究如何在跨任务学习中利用源任务帮助目标任务,提出 Target-Aware Weighted Training(TAWT),通过最小化源任务与目标任务之间基于表征的任务距离来指导加权训练。原论文的主要研究对象是 NLP 序列标注,而非 EEG 或 BCI。 核心机制是将目标任务相关性纳入训练权重,使源任务的利用与目标任务的表征需求相联系。作者报告该算法易于实现、计算高效、所需超参数调节较少,并具有非渐近学习理论保证;但摘要未给出任务距离的具体定义、权重更新方式、目标任务监督需求或理论成立条件,尚不能据此还原实现。 作者报告使用 BERT,在 part-of-speech(PoS)tagging、chunking、predicate detection 和 named entity recognition(NER)四类序列标注任务上开展实验,支持 TAWT 的有效性。摘要未提供具体数据集、划分、对照基线及数值指标,因此无法判断收益幅度或各任务间的一致性。作者还指出,该任务距离可为源数据选择与 fine-tuning 的影响提供理论分析工具。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 的不同任务能够共享可比较的表征,并具备估计任务距离所需的数据与监督,TAWT 可能用于检验源任务选择不当所致的负迁移。可复用的是任务距离指导加权的思路;需改造 EEG 编码器、不同任务的输出头及距离估计方式。低信噪比、被试与通道差异可能使距离反映采集条件而非任务相关性,小数据也可能造成权重估计不稳定。一个可证伪的小实验是:固定 EEG 编码器、目标任务训练数据和被试划分,比较 TAWT 加权、等权联合训练与仅目标任务训练,并在独立目标任务测试集上检验加权是否稳定改善表现。具体实施须先核对全文的监督要求与训练流程;已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是 TAWT 以基于表征的任务距离指导源任务加权,并提供非渐近学习理论保证;其对 EEG 跨任务迁移的价值尚未验证。

来源:OpenReview · Representation learning · openreview.net