跳到正文
OpenReview · Representation learning· Wentao Wang; Guowei Xu; Wenbiao Ding; Gale Yan Huang; Guoliang Li; Jiliang Tang; Zitao Liu·· 2020-01-01精选AI 评分70

利用众包标签从有限教育数据中进行表征学习

Representation Learning from Limited Educational Data with Crowdsourced Labels

AI 导读

基于摘要分析。本文研究教育场景中训练样本有限、众包标注者专业水平不一导致标签噪声与不一致的表征学习问题,提出结合分组式深度神经网络、贝叶斯置信度估计和难例选择的框架,目标是在有限标注条件下学习有效表征。 机制上,分组式深度神经网络用于从有限训练样本中学习嵌入;贝叶斯置信度估计器用于刻画众包标签间的不一致;难例选择过程自适应挑选被模型误分类的训练样本,旨在加快训练。摘要未说明分组依据、置信度的估计对象与先验、各模块的耦合方式或具体损失形式,这些实现条件尚未验证。 作者报告,在三个真实世界数据集上,该框架相较多种先进基线取得更好的表征学习效果,并报告了主要组件分析及实际生产环境中的应用结果。摘要未提供数据集名称、样本规模、划分方式、评价指标和具体数值,因此无法判断增益幅度及其统计可靠性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务具有同一样本的多标注者标签,该框架的标签不一致建模可能有助于处理主观标注分歧,但教育数据上的结果不构成 EEG 或 BCI 有效性的证据。可考虑复用置信度估计思路,分组规则与输入编码则需针对 EEG 改造。其适用前提是保留逐标注者标签及足够的重复标注信息;低信噪比、跨被试差异和小样本可能使模型将信号困难误判为标注不可靠,难例选择也可能反复选中噪声样本。一个可检验的小实验是在具有多标注者标签的 EEG 数据上固定编码器与跨被试划分,对照多数投票训练和加入置信度估计的训练,检验标签建模是否带来稳定收益。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其将分组表征学习、众包标签置信度估计与难例选择结合处理小样本噪声标注的思路,但具体性能及对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net