跳到正文
OpenReview · Representation learning· Di Wu; Wasi Uddin Ahmad; Sunipa Dev; Kai-Wei Chang·· 2022-01-01精选AI 评分75

面向资源受限关键短语生成的表征学习

Representation Learning for Resource-Constrained Keyphrase Generation

AI 导读

基于摘要分析。本文研究标注数据有限条件下的关键短语生成,提出一种数据导向的方法:先利用基于检索的语料库级统计识别显著信息,再依托预训练语言模型和大规模无标注文档,学习面向关键短语生成的任务特定中间表征。这里的资源约束主要指标注数据不足,摘要未说明计算或存储约束。 核心机制是引入 salient span recovery 与 salient span prediction 两种去噪训练目标,凝练文章内部与文章之间对关键短语生成有用的知识。该方法依赖文档语料、检索统计与预训练语言模型;具体显著片段选择规则、两项训练目标的实现形式及训练流程尚未验证,不能将其直接等同于一般随机掩码建模。 作者报告,在多个关键短语生成基准上的实验显示,该方法能够促进低资源关键短语生成和零样本域适应,尤其有利于生成未在原文中出现的关键短语(absent keyphrases),其表现接近使用大规模训练集训练的模型。摘要未提供基准名称、标注规模、数据划分、指标、具体数值或对照模型,因此上述结论的适用范围、实验协议、消融及统计信息尚未验证。 该研究的主要对象是文本生成,并非 EEG 表征或 BCI 解码。其显著信息识别依赖文本语料统计,当前材料未建立这类统计与 EEG 信号结构之间的具体对应关系,因此不据此提出 EEG 迁移效果或复现实验建议;已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以检索统计引导去噪表征学习、利用无标注文档缓解关键短语标注不足的机制;作者报告该方法有益于低资源生成与零样本域适应,但其向 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net