跳到正文
OpenReview · Representation learning· Wen Lai; Alexandra Chronopoulou; Alexander Fraser·· 2023-01-01精选AI 评分72

缓解多语言机器翻译中的数据不均衡与表示退化

Mitigating Data Imbalance and Representation Degeneration in Multilingual Machine Translation

AI 导读

基于摘要分析。本文研究多语言神经机器翻译(MNMT)中的数据不均衡与表示退化,提出 Bi-ACL 框架,利用目标侧单语数据和双语词典改善翻译表现。其主要研究对象是语言翻译,而非 EEG 解码或 BCI。 数据不均衡指不同语言对的平行语料规模悬殊,尤其涉及极低资源的长尾语言;表示退化指编码后的 token 表示集中于可用表示空间的一个较小子空间。Bi-ACL 结合双向自编码器、双向对比学习、在线约束束搜索及课程学习采样策略。摘要未给出各模块的具体连接方式、对比样本构造、损失形式和采样日程,尚不能判断它们分别如何贡献于两类问题的缓解。“仅使用目标侧单语数据和双语词典”描述的是所提框架的数据依赖,不能据此推断 MNMT 基础模型完全不需要平行语料训练。 作者报告,该方法在长尾语言和高资源语言上均更有效,并能在零样本场景下实现跨领域、跨语言知识迁移。摘要未提供语言对、数据集、对照基线、评估指标或具体增益;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其中利用对比学习缓解表示退化、通过课程采样处理资源不均衡的思路,可能对应 EEG 中表征集中及不同被试数据量不均的问题,但原方法依赖离散 token 与双语词典,不能直接视为跨被试对齐机制。可复用候选是对比学习与采样策略,需改造的是 EEG 编码、自监督视图和正负样本定义;低信噪比、通道差异和小数据可能使对齐抹去任务相关信息。一个可检验的小实验是在固定 Cross-subject 划分下,对同一 EEG 编码器分别加入对比学习、采样及二者组合,同时检查任务指标与表示分布,判断表示更分散是否确实改善泛化。该假设并非论文已验证结果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注 Bi-ACL 如何利用目标侧单语数据与双语词典同时处理资源不均衡和表示退化,但其增益规模及各模块贡献需结合全文核对,EEG/BCI 迁移价值尚未验证。

来源:OpenReview · Representation learning · openreview.net