通过相关性对齐学习共享语义空间用于跨模态事件检索

基于摘要分析。本文研究图像与文本之间的跨模态事件检索，提出 Learning Shared Semantic Space with Correlation Alignment（S3CA），通过对齐异构数据网络层激活的非线性相关性，学习可直接度量跨模态样本距离的共享语义空间。 机制上，图像侧采用包含卷积层与全连接层的神经网络提取特征，文本侧采用全连接神经网络提取语义特征；两个网络联合训练，并以 correlation alignment 对齐层激活的相关性。摘要未给出相关性的具体计算方式、对齐层位置、损失组合及检索距离定义，这些实现细节尚未验证，不能据此将其归为 State Space Models 方法。 数据贡献是 Wiki-Flickr Event dataset：其中图像与文本并非逐对互相描述，而是共同描述语义事件。作者报告，在成对与非成对数据集上的实验中，S3CA 优于所比较的当时先进方法；摘要没有提供具体指标、数值、基线名称或划分协议，因此尚不能量化增益，也不能跨协议比较。事件级关联所需的监督形式、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 与文本或图像具有可靠的共同任务语义，相关性对齐或可用于缓解异构表征难以直接比较的问题。可复用的是共享空间与对齐思路，需改造的是 EEG 编码器及语义监督设计。原方法依赖图像、文本和共同事件语义，不能直接等同于 EEG 域适应；低信噪比、被试差异、通道变化及小样本下不稳定的相关性估计均可能使对齐失效。一个可检验的小实验是在具有共同刺激标签的 EEG—图像数据上，固定编码器、划分和检索指标，仅比较加入与不加入相关性对齐的跨被试检索表现。相关 EEG 工作尚未检索确认，原论文结果不构成 BCI 有效性的证据。