面向零样本草图图像检索的模态感知表征学习

基于摘要分析。本文研究 Zero-shot Sketch-based Image Retrieval（ZS-SBIR，零样本草图图像检索），旨在降低未见类别检索对草图—照片配对数据的依赖。作者提出以文本为中介进行对比学习，间接对齐草图与照片，并通过从数据中学习的显式模态编码，将模态无关语义与模态特有信息解耦，以支持共享潜在空间中的跨模态内容检索。 核心机制是用草图、照片分别与文本建立联系，替代直接依赖草图—照片配对的对齐路径；模态编码则用于处理两类视觉输入之间的模态差异。摘要未说明文本的来源与粒度、各模态与文本之间所需的监督关系、编码器结构、损失形式及训练流程，因此“不需要草图—照片配对”不能进一步解读为无需语义标注或其他配对监督。 作者报告，该方法在 ZS-SBIR 实验中有效，并可用于 generalized 和 fine-grained 设置。摘要未提供数据集、类别划分、评价指标、数值结果或对照基线；实验协议、消融及统计信息尚未验证，无法据此判断不同设置下的收益幅度与泛化边界。 平台推测（待验证）：若 EEG 与其他模态拥有可靠的共享语义描述，可假设文本中介对齐有助于缓解严格配对数据不足的问题，模态编码也可能用于区分语义与采集模态差异。但原文对象是草图与照片，并非 EEG；迁移需要改造 EEG 编码器和语义监督接口，低信噪比、跨被试差异及小数据均可能使语义对齐失效。可在类别语义明确的 EEG—视觉任务中固定编码器与数据划分，对比有无文本中介、模态编码的检索表现，并单独报告跨被试结果。相关 EEG 工作尚未检索确认。