MEVTR:视觉文本表征增强的多语言模型
MEVTR: A Multilingual Model Enhanced with Visual Text Representations
基于摘要分析。本文研究多语言预训练模型在低资源语言上表征能力不足的问题,提出 MEVTR,通过对齐与融合字形视觉表征和文本表征,扩展多语言表征空间。其主要研究对象是多语言文本及跨语言下游任务,并非 EEG 或 BCI。 方法上,视觉编码器从文字的字形与结构中提取视觉文本表征,文本编码器提取文本表征,再将两类表征对齐和融合。作者提出自监督的 similarity constraint,以促使视觉编码器关注额外信息,并设计 prefix alignment 与 multi-head bilinear module 改善融合效果。摘要未给出这些模块的具体计算形式、损失定义及训练流程,不能据此判断各模块的独立贡献。 作者报告,视觉文本表征能够改善下游任务表现;在零样本跨语言迁移任务中,MEVTR 在不使用目标语言 adapter 的条件下,优于作者所称的最先进 adapter-based 框架。摘要未提供任务名称、语言覆盖、数据集、评估指标或具体增益,因而该结论目前仅能按上述评估前提理解,不能量化其优势。 复现前需核对字形输入的构造方式、预训练与下游数据划分、目标语言资源的使用范围、对照框架配置,以及模型容量与训练成本。实验协议、消融及统计信息尚未验证。材料未提供与 EEG 信号结构或 BCI 任务的具体机制对应关系,因此不提出迁移实验建议;已有 EEG 相关工作尚未检索确认。
值得关注其以字形视觉表征补充多语言文本表征的机制,以及无需目标语言 adapter 的零样本跨语言迁移结果,但具体增益与评估协议尚需全文核对,不能据此推断 BCI 有效性。
来源:OpenReview · State space models · openreview.net