通过学习句子表示改进多标准中文分词
Improving Multi-Criteria Chinese Word Segmentation through Learning Sentence Representation
基于摘要分析。本文研究多标准中文分词(CWS)中模型可能偏重词表内词汇知识、而未充分利用整句上下文含义的问题,提出将不同 dropout 掩码下的无监督句子表示学习纳入多标准训练框架,以增强上下文感知能力。 机制上,方法把句子级表示学习与分词训练相结合,利用不同 dropout 掩码形成表示学习所需的变化。摘要未说明具体句子表示目标、损失形式、目标权重或多标准训练的组织方式,因此尚不能确定其收益来自何种表示约束,也不能将其直接等同于某一种对比学习算法。 作者报告,在九个 CWS 基准数据集的评估中,该方法在其中六个数据集的 F1、八个数据集的词表外词汇(OOV)召回率上达到当时的 SoTA;摘要未提供数据集名称、具体分数、划分方式及对照基线,无法据此量化提升幅度。作者还报告,多种句子表示学习目标均能带来明显改进,但各目标的差异与适用条件尚未验证。F1 与 OOV 召回率反映不同评估侧面,不应互换解读。 复现时需核对预训练语言模型、分词标准、OOV 定义、dropout 配置及联合训练设置;实验协议、消融及统计信息尚未验证。本文的主要对象是中文分词,现有材料未建立其句子表示机制与 EEG 信号结构或 BCI 任务之间的具体对应关系,因此不据此推断 EEG/BCI 有效性。
该研究值得关注之处在于将不同 dropout 掩码下的无监督句子表示学习引入多标准中文分词,并分别报告 F1 与 OOV 召回率,便于核对上下文表示是否有助于缓解对词表内词汇的依赖。
来源:OpenReview · Representation learning · openreview.net