基于由粗到细表示学习的零样本视觉定位

该研究针对视觉定位（Visual Grounding，VG）中未见查询—图像组合的泛化问题，提出单阶段、由粗到细的表示学习框架，通过增强视觉与文本表示的判别性定位语言描述所指的目标。基于摘要分析，研究对象是图像与自然语言查询，而非 EEG/BCI 信号。 方法分为粗粒度与细粒度两个阶段：粗粒度阶段使用多头自注意力模块提取视觉特征与查询嵌入的全局上下文，强化各模态内部关系；细粒度阶段先通过多模态关系增强 transformer 模块建模视觉与文本之间的交互，形成查询感知的视觉表示，再利用名词短语引导的多模态交互网络，加强目标相关短语与视觉表示的交互，以提升目标区域的可区分性。其主要机制是逐步从模态内上下文转向跨模态对齐，再聚焦与目标相关的局部语义。 作者报告，在 RefCOCO、RefCOCO+、RefCOCOg、Flickr30K Entity、Flickr-Split-0 和 Flickr-Split-1 上进行了实验与消融，并在单阶段训练和测试条件下提高了定位准确率，达到作者所称的最新最佳性能。摘要未提供具体数值、对照方法、零样本划分方式或监督设置，因此尚不能确定泛化收益具体来自未见表达、目标类别还是查询—图像组合；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若研究任务同时包含 EEG 与文本提示，该文的模态内建模和查询引导交互可作为跨模态表示设计参考；但其机制依赖视觉区域与语言短语之间的对应关系，迁移时需重新定义 EEG 时空表征及对齐目标。低信噪比、跨被试差异与配对数据不足可能削弱这一对应关系。当前材料不足以支持具体 BCI 复现实验方案，已有 EEG 相关工作尚未检索确认。