跳到正文
OpenReview · Representation learning· Yan Song; Sheng Tang; Yan-Tao Zheng; Tat-Seng Chua; Yongdong Zhang; Shouxun Lin·· 2012-01-01精选AI 评分71

面向人体动作识别的概率局部化视频表示探索

Exploring probabilistic localized video representation for human action recognition

AI 导读

基于摘要分析。本文研究视频中的人体动作识别,针对 bag-of-words(BoW)表示中局部时空特征量化带来的歧义、信息损失,以及视频语料变化时需要重建码本的问题,探索局部化、连续的概率视频表示。 核心机制是利用生成式概率模型估计分布,将一段视频中一组局部时空(ST)特征的视觉与运动信息编码到该分布中,再由概率表示导出视频之间的信息论距离,以接入近邻方法和基于核的判别分类器。相较于 BoW,其方法重点是改变特征聚合与样本间比较方式;摘要未明确生成模型的具体形式、分布估计方法或距离定义,尚不能确认其对码本依赖问题的解决程度。 作者报告在 KTH 和 UCF sports 两个视频动作识别数据集上取得有潜力的结果,但摘要未提供具体指标、数据划分或对照基线,不能据此判断提升幅度。实验协议、消融及统计信息尚未验证;复现还需核对局部特征提取、概率模型拟合、距离计算与分类器配置。 平台推测(待验证):可迁移的假设是,将 EEG 试次内的局部时间窗特征视为样本集合,以连续分布聚合替代离散码本,可能缓解量化造成的信息损失。可复用的是分布表示与距离分类思路;需要改造的是适合 EEG 的局部特征、通道组织和分布估计。低信噪比、小样本及跨被试差异可能导致估计不稳定,集合聚合也可能丢失任务相关时序。一个可证伪的小实验是在固定被试内划分、相同局部特征和分类器下,对比 BoW 与概率表示,并仅用训练数据拟合表示参数,检验其分类表现及对窗口数量的敏感性。已有 EEG 相关工作尚未检索确认,原视频任务的结果不构成 BCI 有效性证据。

阅读价值

值得阅读的是其以连续概率分布替代 BoW 离散量化、并通过信息论距离连接判别分类器的表示路径,但具体性能及向 EEG 迁移的有效性尚未验证。

来源:OpenReview · Representation learning · openreview.net