跳到正文
OpenReview · Representation learning· Benjamin Hsu; Graham Horwood·· 2022-03-08精选AI 评分73

面向事件与实体跨文档共指消解的对比表征学习

Contrastive Representation Learning for Cross-Document Coreference Resolution of Events and Entities

AI 导读

基于摘要分析。本文研究自然语言理解中的实体与事件共指消解,即识别文档内及跨文档中指向同一实体或事件的提及,提出利用对比表征学习完成这一任务,旨在降低大规模文档集合上的计算负担。 作者将此前的方法概括为二分类方案:使用大型 Transformer 构建 cross-encoder,对提及之间的共指关系进行判断;当文档及提及数量增加时,相关 Transformer 计算开销较高。本文改用对比表征学习,但摘要未给出正负样本构造、损失函数、编码方式及最终共指判定流程。摘要称该方法“仅在推理时需要 Transformer 计算”,这一计算流程的具体含义需结合正文核对,不能据此推断为预计算、缓存表征或特定双编码器结构,也无法量化其效率收益。 在 ECB+ corpus 上,作者报告该方法在若干关键指标上达到当时最优水平,在其他指标上具有竞争力。摘要未列出指标名称、具体数值、数据划分或对照配置,实验协议、消融及统计信息尚未验证。 该工作的主要研究对象是文本共指消解,而非 EEG 表征或 BCI 解码。现有材料不足以建立其任务监督与 EEG 数据之间的具体对应关系,因此不将文本任务中的结果解释为 BCI 有效性证据;相关 EEG 工作尚未检索确认。复现前需核对训练与推理流程、评估协议及实际计算成本。

阅读价值

值得关注其以对比表征学习替代共指判断中高开销 cross-encoder 计算的思路,但摘要不足以核实计算节省的具体实现、幅度及其对 EEG/BCI 的适用性。

来源:OpenReview · Representation learning · openreview.net