跳到正文
OpenReview · Representation learning· Yang Hao; Xiao Zhai; Wenbiao Ding; Zitao Liu·· 2021-01-01精选AI 评分73

基于众包标签的时间感知语言表征学习

Temporal-aware Language Representation Learning From Crowdsourced Labels

AI 导读

基于摘要分析。本文研究多标注者众包标签存在分歧时的语言表征学习,提出时间感知启发式方法 TACMA,旨在缓解高容量深度神经网络记忆标注分歧、影响预测表现的问题。其主要研究对象是语言任务中的众包标签,而非 EEG 或 BCI。 机制上,TACMA 使用注意力机制显式建模同一标注者内部的变异,并计算、聚合多个标注者对各样本的置信度,以处理标注者之间的分歧。摘要未说明时间信息的具体定义、注意力的作用对象、置信度计算公式及训练目标,这些实现细节尚未验证。 作者报告,在四个合成数据集和四个真实数据集上,TACMA 的预测 Accuracy 和 AUC 优于多种基线。摘要未提供数据集名称、划分协议、具体数值或基线配置,因此不能据此判断提升幅度及适用边界;实验协议、消融及统计信息尚未验证。作者称该启发式约需五行代码即可实现,并提供公开代码,但完整复现所需的数据处理与训练配置仍需核对。 平台推测(待验证):若 EEG 任务具有同一样本的多位专家标注,以及可追踪的标注顺序或时间信息,可假设其置信度聚合思路有助于处理标签分歧。可复用部分是标注者建模与聚合模块,语言编码器和时间信息定义则需改造;EEG 低信噪比、专家共同偏差及少量重复标注可能使置信度失准。一个小规模检验是固定 EEG 编码器与数据划分,对比多数投票和 TACMA 式标签聚合,并单独检验时间信息是否带来增益。该假设不构成已证实的 BCI 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

TACMA 将同一标注者的标注变异与不同标注者之间的分歧分别处理,并提供公开实现,值得核对其置信度聚合机制及噪声标注对照;其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net