面向低资源多语言翻译的翻译回路发现与定向优化
Translation Circuit Discovery and Targeted Optimization for Low-Resource Multilingual Translation
基于摘要分析。本文研究多语言 decoder-only LLM 中低资源翻译的内部机制,提出 TITAN,将因果干预、稀疏特征分解与定向偏好优化结合,用于发现并优化关键翻译回路。主要研究对象为 Hindi-to-Urdu 与 Hindi-to-Sindhi(Devanagari)翻译,而非 EEG 或 BCI。 机制上,TITAN 不采用常规全参数微调,而是将优化限制在稀疏且具有因果重要性的 transformer 回路。作者报告更新的参数少于模型参数总量的 5%。摘要未说明回路的具体定义、因果干预方式、稀疏特征分解实现、偏好数据来源及优化目标细节,尚不能判断回路筛选与参数更新如何衔接。 结果方面,作者报告,相较其评估中最强的多语言基线,TITAN 在 Hindi-to-Urdu 与 Hindi-to-Sindhi 任务上的 BLEU 分别提升 33.75% 和 45.86%。摘要未提供绝对 BLEU、提升计算方式、具体基线、数据集与划分,因此不能将这些百分比解释为 BLEU 绝对分值增量。作者还报告,人工专家评估显示两组语言对的充分性与流畅性均有改善,但评估人数、量表及统计信息尚未验证。 作者据附加分析认为,多语言翻译依赖在共享语义子空间中运作的稀疏结构化回路,而非以英语为中心的枢轴表示。这是作者的机制解释,其因果证据、替代解释与跨模型稳定性需核对全文。复现还需确认模型、训练数据、计算开销及实现可用性;实验协议、消融及统计信息尚未验证。摘要未建立该机制与 EEG/BCI 的具体对应关系,不能据此推断其对神经信号任务有效。
值得核对 TITAN 如何以因果干预识别翻译相关稀疏回路,并将其转化为局部参数优化;摘要报告了低资源翻译收益,但其机制解释与参数效率仍需结合全文实验验证。
来源:arXiv · 在线与高效推理 · arxiv.org