MAPP:通过性能差距探测引导的表征对齐实现跨语言迁移
MAPP: Cross-Lingual Transfer through Representation Alignment with Performance-Gap Probing
基于摘要分析。本文研究 LLM 向低资源语言迁移时,表征对齐目标是否真正对应任务性能提升,提出 MAPP(Multilingual Alignment through Performance-gap Probing):利用中间层隐藏表征训练探针预测跨语言性能差距,再将探针作为奖励模型引导对齐,而非直接最小化预先选定的距离函数或对比损失。 作者指出,已有对齐目标在完全对齐时达到最小值,但完全对齐可能同时消除语言身份,且未必带来最优性能增益。作者通过训练 oracle 模型并分析其多语言表征几何,提出跨语言表征差异中的 performance gap(性能差距)与 language gap(语言差异)是可分离的成分。MAPP 的核心思路是让对齐信号更直接地指向任务性能差距,而不是无差别地压缩所有语言间差异;探针的监督来源、结构、奖励使用方式及优化流程尚未验证。 作者报告,在三项任务上,MAPP 相比摘要所称的现有最先进对齐信号取得更大的性能增益,同时保持输出语言身份。摘要未提供任务名称、语言组合、数据规模、基线名称、具体指标与数值,因此无法判断提升幅度及适用范围;实验协议、消融及统计信息尚未验证。 平台推测(待验证):区分任务性能相关差异与域身份差异,可能启发 EEG 跨被试域适应,避免把所有被试差异都作为需要消除的成分。但原方法依赖多语言隐藏表征及可用于监督性能差距的信号,EEG 中是否存在可稳定分离的对应成分尚不明确。可考虑复用探针引导的对齐思路,改造输入编码与探针监督构造;低信噪比、小样本及通道差异可能使探针学习到被试或采集条件的捷径。若开展小规模验证,可在固定跨被试划分与相同标签预算下,对比距离对齐和探针引导对齐,检查独立测试被试上的任务收益是否稳定。已有 EEG 相关工作尚未检索确认。
值得关注的是作者将跨语言表征差异中的性能差距与语言差异分开建模,并以性能差距探针替代预设对齐目标;其收益及语言身份保持能力仍需结合全文实验核对。
来源:OpenReview · Representation learning · openreview.net