UNIMO-3：面向视觉—语言表征学习的多粒度交互

基于摘要分析。该研究面向图像—文本对的视觉—语言预训练，提出 UNIMO-3，通过同时学习同层与跨层的跨模态交互，改善不同语义层级之间的信息融合，目标是获得可迁移至多种视觉—语言任务的表征。 核心动机是：不同模态在相同网络层的语义信息未必处于一致层级，仅依靠层内注意力进行交互可能限制可融合的多模态语义信息。UNIMO-3 在跨模态编码器的不同层之间建立连接，自适应捕获两种模态在不同层级的交互。摘要未说明跨层连接的具体形式、层级选择机制、训练目标或额外计算成本。 作者报告，模型在所评估的多种下游任务上达到当时最优表现，并报告消融研究支持跨层学习对多模态表征能力的改善。不过，摘要未列出任务名称、数据集、划分、对照基线及指标数值，无法据此判断增益幅度与适用边界；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可借鉴机制是跨层语义对齐，而非已证实的 BCI 方法。若 EEG 与图像或文本具有可靠配对关系，可假设不同模态的有效语义层级并不一致，跨层交互可能比固定同层融合更合适。可复用的是跨层连接思路，需改造 EEG 编码与时序对齐；原研究所需监督、数据规模及配对条件尚不明确。低信噪比、跨被试差异、通道配置变化及小数据可能使跨层连接学习到伪相关。可在固定 EEG 编码器、数据划分和训练预算下，对比同层融合与跨层融合，并分别报告被试内、跨被试结果，以检验增益是否稳定。已有 EEG 相关工作尚未检索确认。