跳到正文
OpenReview · State space models· Zhenguo Yang; Zehang Lin; Peipei Kang; Jianming Lv; Qing Li; Wenyin Liu·· 2019-01-01精选AI 评分70

通过相关性对齐学习共享语义空间,用于跨模态事件检索

Learning Shared Semantic Space with Correlation Alignment for Cross-modal Event Retrieval

AI 导读

基于摘要分析。本文研究图像与文本之间的跨模态事件检索,提出 S³CA,通过对齐两种模态在深度网络中的非线性相关性,将异构数据映射至可直接比较距离的共享语义空间。研究对象是多媒体事件数据,并非 EEG 或 BCI。 机制与贡献:图像侧使用卷积层与全连接层提取特征,文本侧使用全连接神经网络提取语义特征;两侧网络联合训练,并对层激活的相关性进行对齐。共享空间用于度量不同模态样本之间的距离。摘要未给出相关性的具体定义、对齐损失、语义监督方式及检索距离函数,这些实现细节尚未验证。 数据与结果:作者还贡献了 Wiki-Flickr Event 数据集,其中图像与文本并非逐对相互描述,而是共同描述语义事件。作者报告,在配对与非配对数据集上的跨模态检索实验中,S³CA 优于所比较的当时先进方法;摘要未提供具体指标、数值、数据划分及基线名称,无法据此判断优势幅度或跨事件泛化能力。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 片段与图像或文本具有可靠的共同事件标签,相关性对齐与共享空间检索可作为缓解模态分布差异的候选机制,但原领域有效不等于 BCI 有效。可复用的是对齐与联合训练思路;需将图像编码器改为适配 EEG 时序和通道结构的编码器,并明确事件监督及时间对应关系。低信噪比、被试差异、通道配置变化和小样本可能使相关性估计不稳定,或使对齐保留被试因素而非事件语义。一个可检验的小实验是在固定 EEG—刺激事件数据及 Cross-subject 划分下,对比相同编码器有无相关性对齐的跨模态检索表现,并检查事件标签打乱后收益是否消失。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其通过层激活相关性对齐学习共享语义空间的机制,以及按事件关联而非逐样本配对的数据组织方式;其对 EEG 跨模态检索的价值尚未验证。

来源:OpenReview · State space models · openreview.net