基于众包标签的时间感知语言表征学习
Temporal-aware Language Representation Learning From Crowdsourced Labels
基于摘要分析。本文研究众包标签中标注者内与标注者间的高变异性如何影响语言表征学习,提出时间感知启发式方法 TACMA,旨在缓解高容量深度神经网络记忆标签分歧所带来的学习问题。主要研究对象是带有多名标注者标签的语言任务,并非 EEG 或 BCI。 机制方面,TACMA 使用注意力机制显式建模标注者内变异,并计算、聚合多个标注者对每个样本的置信度,以处理标注者间分歧。摘要未解释时间信息的具体定义、置信度计算方式,以及这些机制如何接入训练目标,相关实现细节尚未验证。作者称该启发式方法约可用 5 行代码实现,并已公开代码;这一描述不能替代对完整训练流程及复现依赖的核对。 结果方面,作者报告在四个合成数据集与四个真实数据集上,TACMA 的预测 Accuracy 和 AUC 优于多种被作者称为当时先进方法的基线。摘要未提供数据集名称、具体数值、数据划分或基线配置,因此不能判断提升幅度及适用范围;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务具有同一样本的多名人工标注者标签,并保留标注者身份及与方法相符的时间信息,可假设其置信度聚合机制有助于处理标注分歧。可复用部分是标注者变异建模与标签聚合,需改造语言表征模块以适配 EEG 输入。低信噪比、跨被试或跨通道差异可能被误判为标注者不可靠,小数据下置信度估计也可能不稳定。一个可证伪的小实验是固定 EEG 编码器及按被试隔离的训练、测试划分,对比多数投票、普通多标注者监督与 TACMA,并核查收益是否随标注分歧程度变化。该假设不代表已有 EEG 效果,相关工作尚未检索确认。
值得核对 TACMA 如何结合标注者内变异建模与多标注者置信度聚合来处理众包标签分歧;作者提供代码,但其对 EEG 多标注者任务的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net