EMMA-X:用于跨语言表示学习的类 EM 多语言预训练算法
EMMA-X: An EM-like Multilingual Pre-training Algorithm for Cross-lingual Representation Learning
基于摘要分析。EMMA-X 面向跨语言通用语义表示学习,试图缓解平行语料稀疏与不足的限制,利用大量非平行多语言数据学习跨语言共享表示。其主要贡献是将跨语言表示学习与额外的语义关系预测任务纳入类 EM 框架。 机制上,语义分类器与跨语言句子编码器均用于近似两个句子之间的语义关系,并相互监督直至收敛。摘要未说明具体的隐变量、交替更新过程、损失函数及语义监督来源,因此不能将其直接等同于标准 EM,也无法判断训练稳定性与计算成本。 作者报告,在新引入的 xrete 基准上,EMMA-X 达到当时最先进的表现;该基准包含 12 项依赖句子级表示的跨语言任务。作者还报告,依据三项要求进行的表示空间几何分析显示其优于所比较的先进模型。摘要未提供具体分数、语言覆盖、数据划分、对照模型或三项几何要求的定义,实验协议、消融及统计信息尚未验证。 平台推测(待验证):其潜在可迁移点是利用关系预测与编码器相互监督,从未配对数据中学习共享结构,可能对应 EEG 跨被试表示对齐中配对数据不足的问题。但语言之间具有共享语义,不意味着不同被试的 EEG 自动具备可识别的对应关系;迁移需将句子编码器替换为 EEG 编码器,并重新定义跨被试样本的关系及监督来源。低信噪比、通道差异、小数据和错误关系的相互强化均可能使对齐失效。一个可检验的假设是:在固定 Cross-subject 划分与标签预算下,相比同一 EEG 编码器,加入关系预测和交替相互监督能改善留出被试的任务表现;应以去除关系任务的消融检验其贡献。相关 EEG 工作尚未检索确认。
值得关注其利用非平行多语言数据、以语义分类器与句子编码器相互监督学习共享表示的机制,但摘要不足以核实性能优势,其向 EEG 表示学习迁移的有效性尚未验证。
来源:OpenReview · Representation learning · openreview.net