跳到正文
OpenReview · Representation learning·· 2026-05-25精选AI 评分71

MEIV:面向非拼接形态语言稳健分词的表示层归一化

MEIV: Representation-Level Normalization for Robust Tokenization in Non-Concatenative Languages

AI 导读

基于摘要分析。本文研究 Tigrigna、Arabic 和 Hebrew 等非拼接形态语言中,词义分布于辅音词根与屈折元音模式、导致表面形式难以稳定表示的问题,提出 Morphological Explicitization of Inflectional Vowels(MEIV),通过显式分离辅音结构与屈折元音模式,在表示层进行归一化,而不只调整子词切分。 核心机制是将辅音结构对应的词汇身份与元音模式对应的语法变化分开表示。作者认为,BPE、WordPiece 等方法依赖表面形式,形态相关词之间有限的表面重叠会造成表示碎片化与词表稀疏;即使改善切分,语素内部的形式变化仍可能影响表示稳定性。MEIV 的主要研究对象是自然语言形态表示与检索,并非神经信号建模。 作者在 Tigrigna 上实例化 MEIV,采用内在分析、稀疏词汇检索及稠密语义检索基准进行评估。作者报告,在这些评估中,MEIV 显著降低词表增长和词表外词率,并在稀疏与稠密检索设置下持续改善检索效果。摘要未提供具体数据集、划分、对照配置、指标或数值,因此不能量化收益,也不能据此认定其已在 Arabic 或 Hebrew 上得到验证。 复现时需核对辅音与元音分离规则、归一化后的信息保留程度、与分词器及检索模型的衔接方式,以及词表规模和训练条件是否可比;实验协议、消融及统计信息尚未验证。材料未提供独立的 EEG/BCI 对应机制,不据此生成迁移效果判断或复现实验建议。

阅读价值

值得关注其将词汇表示稳定性与分词边界问题区分的思路,并核对显式分离辅音结构与屈折元音模式是否能在保留语义的同时改善检索;现有材料尚不支持其对 EEG/BCI 的适用性。

来源:OpenReview · Representation learning · openreview.net