缓解多语言机器翻译中的数据不均衡与表示退化
Mitigating Data Imbalance and Representation Degeneration in Multilingual Machine Translation
基于摘要分析。本文研究多语言神经机器翻译(MNMT)中的两类问题:各语言对的平行语料规模不均衡,尤其是长尾低资源语言的数据不足;编码后的 token 表示集中于可用表示空间中的较小子空间。作者提出 Bi-ACL,利用目标端单语数据和双语词典改善 MNMT 性能。 方法由 bidirectional autoencoder(双向自编码器)和 bidirectional contrastive learning(双向对比学习)两个模块组成,并结合在线约束束搜索与课程学习采样策略。摘要将目标端单语数据和双语词典作为框架所需资源,但这不等于基础 MNMT 模型无需既有训练数据。各模块的具体损失、正负样本构造、词典约束方式及训练流程尚未验证。 作者报告,在长尾语言和高资源语言的机器翻译实验中,Bi-ACL 优于所比较的强基线,并展示了零样本场景下跨领域、跨语言的知识迁移能力。摘要未提供具体数据集、语言组合、划分、基线名称或量化指标,因此不能判断收益幅度与适用边界;实验协议、消融及统计信息尚未验证。 平台推测(待验证):表示退化与数据不均衡这两个问题,对 EEG 表征学习具有潜在参考价值,但本文主要研究对象是文本翻译,并未提供 EEG 或 BCI 证据。若将其用于跨被试 EEG,需重新定义自编码目标、对比样本及对应关系,不能直接将双语词典等同于被试间映射;低信噪比、通道差异与小数据可能使对比学习强化噪声。可检验的初步假设是在固定跨被试划分、标签预算和骨干模型下,对照加入与不加入双向对比约束,检查任务指标与表示分布是否同时改善;这仅检验部分机制,并非 Bi-ACL 的直接复现。已有 EEG 相关工作尚未检索确认。
值得关注 Bi-ACL 如何以目标端单语数据和双语词典联合应对 MNMT 的数据不均衡与表示退化,但其收益幅度、模块贡献及向 EEG 迁移的可行性尚未验证。
来源:OpenReview · Representation learning · openreview.net