跳到正文
OpenReview · Representation learning· Yi Zhu; Yang Long; Yu Guan; Shawn D. Newsam; Ling Shao·· 2018-01-01精选AI 评分76

面向未见动作识别的通用表示

Towards Universal Representation for Unseen Action Recognition

AI 导读

基于摘要分析。本文研究 Unseen Action Recognition(UAR,未见动作识别):在没有目标动作类别训练样例的情况下识别新类别。针对既有工作主要采用单一数据集内已见/未见类别划分的问题,作者提出从大规模源数据学习 Universal Representation(UR,通用表示),用于更贴近跨数据集应用的 Cross-Dataset UAR(CD-UAR)。 方法将 UAR 表述为 Generalised Multiple-Instance Learning(GMIL,广义多实例学习)问题,使用 distribution kernels 从 ActivityNet 中发现动作“构件”,并在共享空间中保留关键视觉与语义成分。作者还提出通过简单的语义适应改进预测的 UR exemplars,再于测试阶段利用 UR 直接识别未见动作。摘要未给出核函数、共享空间目标、语义信息来源及适应步骤的具体实现。 作者报告,在 UCF101 和 HMDB51 的跨数据集未见动作识别实验中,无需进一步训练即可获得显著改进;摘要未提供指标、具体数值、对照基线、类别划分或统计检验,因此尚不能量化收益。“无需进一步训练”的适用范围及其与语义适应步骤的关系,也需结合全文核对。实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,以源数据学习可组合构件,再通过语义空间连接未见类别,可能为 EEG 跨数据集、未见任务类别识别提供思路。其前提是存在足量且标签可对齐的源数据,以及能够连接已见与未见类别的有效语义描述。可考虑复用构件学习与共享空间框架,但需改造视觉特征提取和实例组织方式;EEG 低信噪比、被试差异、通道不一致及小数据可能使构件不稳定,动作语义也未必对应可区分的 EEG 模式。一个可证伪的小实验是在任务标签可对齐的 EEG 数据上,固定跨数据集及未见类别划分,对比构件共享表示与直接语义映射,并核对目标测试数据参与适应的范围。已有 EEG 相关工作尚未检索确认,原文结果不构成 BCI 有效性证据。

阅读价值

值得关注其利用大规模源数据发现动作“构件”、结合视觉与语义共享表示实现 Cross-dataset 未见类别识别的机制,但摘要不足以核对性能增益及其对 EEG 的适用性。

来源:OpenReview · Representation learning · openreview.net