用于弱监督时空动作检测的图表示
Graph Representation for Weakly-Supervised Spatio-Temporal Action Detection
基于摘要分析。该研究面向未裁剪视频的动作识别与时空定位,提出仅依赖片段级标注的图表示方法,以降低精细帧级、像素级标注的需求;研究对象是计算机视觉中的视频动作,而非 EEG 或 BCI。 方法先依据视频片段中的关键行为确定局部动作,并将片段类别标签赋予这些局部动作。由于同一类别的局部动作可能差异较大、不同类别的局部动作又可能相似,这种弱标注会影响识别与定位。作者采用弱监督深度多实例排序框架处理局部动作描述符,再使用结合图核的支持向量机对局部动作图分类,并依据图中的局部动作,将识别出的动作定位为视频中的非立方体形状区域。摘要未说明图的边定义、具体排序损失及描述符训练方式,相关实现尚未验证。 作者报告,该方法在 THUMOS14、UCF-Sports 和 JHMDB-21 三个基准数据集上优于当时的先进方法;摘要未提供具体指标、数值、数据划分或对照方法,因此无法判断提升幅度及协议可比性。实验协议、消融及统计信息尚未验证。摘要对现有离线方法的局限有所讨论,但不能据此认定本文支持在线推理。 平台推测(待验证):可检验的迁移假设是,将记录级或试次级标签下的 EEG 局部时间窗视作实例,探索多实例排序能否减少无关窗口对分类和时间定位的干扰。可借鉴的是弱标签实例建模与图级分类思路;视频局部动作描述符、图构建规则及空间定位模块均需针对 EEG 改造。低信噪比、跨被试差异、小样本以及标签并不适用于所有局部窗口,都可能导致错误排序或伪相关。一个小规模检验是在具有独立事件时间标注的 EEG 数据上,仅以试次标签训练,固定被试划分,对比简单窗口聚合与多实例排序,并将时间标注仅用于定位评估。原视频结果不构成该假设的证据,已有 EEG 相关工作尚未检索确认。
值得核对其如何结合局部动作图、弱监督深度多实例排序与图核分类,在仅有片段级标签时联合处理动作识别与定位;其对 EEG 弱标签定位的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net