面向零样本素描图像检索的模态感知表征学习

基于摘要分析。本文研究零样本素描图像检索（Zero-shot Sketch-based Image Retrieval，ZS-SBIR），目标是在难以收集素描—照片配对样本的条件下，实现对未见类别的跨模态检索。作者提出以文本为中介，通过对比学习间接对齐素描与照片，避免依赖素描—照片配对数据。 核心机制是从数据中学习显式模态编码，将模态无关的语义与模态特有信息解耦，使两类视觉输入能够在共同潜在空间中按内容匹配。其方法关注点不仅是缩小模态差异，还包括区分内容信息与模态信息；但摘要未披露文本监督的组织方式、损失形式、编码器结构及训练流程。 作者报告，实验支持该方法在 ZS-SBIR 上的有效性，并可用于 generalized 与 fine-grained 设置。摘要未提供数据集、类别划分、基线、评价指标或具体数值，因此无法判断收益幅度及不同设置下的表现；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设 EEG 与文本或视觉刺激之间存在可靠的语义对应，以文本为中介的对比对齐和模态信息解耦，可能为非配对 EEG 跨模态检索提供思路；这不等于已证实的 BCI 效果。可复用的是对齐与解耦目标，需改造的是 EEG 时序编码、通道处理及监督对应关系。低信噪比、跨被试差异和小数据可能使模态编码吸收被试或设备特征，而非有效分离任务语义。一个小规模可证伪实验是：在具有刺激语义标注的 EEG 数据上，固定编码器与数据划分，比较加入和不加入显式模态编码的文本中介对齐，并在留出被试上检验检索收益是否稳定。相关 EEG 工作尚未检索确认。