用于零样本动作识别的语义嵌入空间

基于摘要分析。本文研究视频动作类别不断增加、难以为每个类别收集充足训练数据的问题，将视频特征与类别标签嵌入共同的语义词向量空间，以识别没有对应训练样本的动作类别；核心贡献是将这一语义映射用于视频动作识别，并通过自训练和数据增强改善映射效果。 不同于摘要所述主要面向图像、采用属性语义表示的既有零样本学习（ZSL）研究，本文以词向量作为类别的语义表示。其关键难点是复杂动作的视频时空特征与语义空间之间的映射更难学习。摘要未说明视觉特征提取方式、映射模型、训练目标，以及自训练和数据增强的具体实现，这些内容尚未验证。 作者报告，在包括 HMDB51 和 UCF101 的人类动作数据集上，该方法达到当时最先进的零样本动作识别表现，并称自训练和数据增强可显著改善映射效果。摘要未给出具体指标、数值、已见与未见类别划分、对照基线或自训练使用的数据范围；实验协议、消融及统计信息尚未验证，因此不能据此量化优势或与其他协议下的结果直接比较。 平台推测（待验证）：其跨模态语义对齐机制可能为 EEG 中未见任务类别的识别提供方法参考，但原论文研究对象是视频动作，而非 EEG 或 BCI。迁移假设依赖已见类别的标注 EEG、具有可解释语义关系的类别标签，以及能跨类别保留信息的 EEG 表征。可复用部分是类别词向量与共同嵌入空间；需改造的是信号特征提取、映射训练和自训练样本筛选。低信噪比、跨被试与通道差异、小数据，以及动作词义与 EEG 生理表征不一致，都可能使迁移失败。可检验的小实验是在固定被试内协议下按类别划分训练与测试，比较仅语义映射和加入自训练的未见类别识别结果，并明确限定自训练可用的数据，核对类别泄漏。已有 EEG 相关工作尚未检索确认。