使用单塔 Transformer 统一视觉—语言表征空间

基于摘要分析。本文研究视觉—语言预训练（VLP）中能否用单塔 Transformer 同时编码图像与文本，提出 OneR 框架，探索不依赖模态专属表征空间的统一表示学习。其主要研究对象是图像及其描述文本，而非 EEG 或 BCI。 核心假设是：图像与对应描述可视为底层共享信息的两种视图，并借助对比学习获得模态无关的表征。作者先分析通用单塔 VLP 模型的学习困难，再提出 OneR；摘要未展开这些困难的具体成因，也未给出模态输入编码、对比损失形式、训练流程或推理细节，相关机制仍需核对全文。 作者报告，OneR 在零样本物体定位、文本引导视觉推理和多模态检索中呈现出区别于既有模态专属表征方法的性质，并认为评估结果显示了统一 VLP 框架的潜力。摘要未提供数据集、划分、对照基线或量化指标，因此不能据此判断性能优势；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若存在语义对应可靠的 EEG—文本或 EEG—图像配对数据，可检验共享编码器与对比对齐是否有助于跨模态表征。可复用的思路是共享表征空间与配对视图学习，需改造的是 EEG 时序输入编码、通道表示及模态间对齐方式。该假设依赖配对监督的可靠性与数据规模，EEG 低信噪比、跨被试差异、通道不一致和小样本可能使共享编码器产生负迁移。一个可证伪的小实验是在同一配对数据和固定跨被试划分下，对照共享编码器与模态专属编码器的跨模态检索表现，并控制训练数据与模型容量。该实验仅为平台提出的迁移假设，已有 EEG 相关工作尚未检索确认。