跳到正文
OpenReview · State space models· Xun Xu; Timothy M. Hospedales; Shaogang Gong·· 2015-01-01精选AI 评分75

用于零样本动作识别的语义嵌入空间

Semantic Embedding Space for Zero-Shot Action Recognition

AI 导读

基于摘要分析。该研究针对视频动作类别不断增加、难以为每个类别收集足量训练数据的问题,将视频特征与类别标签嵌入共同的语义词向量空间,以识别训练阶段未提供该类别样本的动作。核心贡献是将以图像和属性表示为主的零样本学习思路用于视频动作识别,并以自训练和数据增强改善视觉到语义空间的映射。 技术上,语义词向量承担类别之间知识共享的桥梁,使未见类别也能通过其语义表示参与识别。作者指出,复杂动作的视频时空特征与语义空间之间的映射更难学习。摘要未说明视觉特征提取方式、映射函数、训练目标、自训练样本来源及数据增强操作,这些细节尚未验证。 作者报告,在包括 HMDB51 和 UCF101 的人体动作数据集上,该方法取得当时最先进的零样本动作识别表现,并报告自训练与数据增强可显著改善映射效果。摘要未提供具体指标、数值、已见与未见类别划分、对照方法及统计信息,因此无法据此量化收益或比较不同评估协议;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务类别具有可用且与神经信号可分性相关的语义关系,可假设复用“信号特征—语义类别空间”的映射思路,以探索未见类别识别;视频特征模块需替换为 EEG 表征,并重新核对自训练的数据使用边界。主要风险是词向量中的语义距离未必对应 EEG 模式差异,低信噪比、跨被试偏移及小样本可能放大伪标签误差。一个可检验的小实验是在预先固定的被试内类别留出协议下,对比语义映射基线及加入自训练后的未见类别识别表现,且不使用未见类别标签训练。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读之处是以语义词向量连接视频动作特征与未见类别,并用自训练和数据增强改善映射;其对 EEG 零样本识别的适用性尚未验证。

来源:OpenReview · State space models · openreview.net