使用单塔 Transformer 统一视觉—语言表征空间

基于摘要分析。本文研究视觉—语言预训练（VLP）能否使用单塔模型，在不依赖模态专属表征空间的情况下统一编码图像与文本，并提出 OneR 框架。其核心假设是：图像及其描述可以被视为底层互信息的两种视图，通过对比学习获得模态无关的共享表征。 机制与贡献：作者首先讨论通用单塔 VLP 的学习困难，再提出 OneR，探索以共享模型和统一表征空间处理两种模态的可行性。摘要将其与学习模态专属表征空间的既有工作区分，但未提供输入编码方式、具体对比损失、训练批次构造或推理流程，不能据此确定两种模态如何进入同一 Transformer。 结果与证据：作者报告，OneR 在零样本目标定位、文本引导的视觉推理和多模态检索等方面呈现出区别于既有工作的特性，并称评估显示了模态无关 VLP 框架的潜力。摘要未提供数据集、划分、对照基线和量化指标；实验协议、消融及统计信息尚未验证，因此无法判断相对收益及其适用范围。 平台推测（待验证）：若将配对 EEG 与刺激图像或文本描述视为相关视图，统一表征思路可能用于研究跨模态语义对齐，但原文研究对象是视觉—语言，并未验证 EEG 或 BCI。迁移需改造 EEG 输入编码和时间对齐模块，同时核对原方法对配对监督及训练规模的依赖；低信噪比、被试差异、通道配置变化及小样本均可能削弱共享表征。一个可检验的小实验是，在相同 EEG—刺激配对数据及 Cross-subject 划分下，对比单塔共享编码与模态专属双塔编码的检索表现，检验统一空间是否带来收益。已有 EEG 相关工作尚未检索确认。