视频中多主体事件的学习、检测与表示
Learning, detection and representation of multi-agent events in videos
基于摘要分析。本文研究视频中多主体事件的结构学习、检测与表示,将事件建模为随时间变化的子事件序列,并提出由依赖图学习、图聚类检测和语义表示组成的方法。 方法包含三个步骤:首先,从训练视频中自动编码子事件依赖图,用于描述子事件之间的条件依赖关系;其次,将新视频中的事件检测表述为使用 normalized cuts 聚类高度相关子事件的问题。其核心假设是,同一事件由高度相关的子事件链构成,簇内关联权重较高、簇间关联权重较低。作者指出,该检测过程不需要预先知道事件涉及的主体数量,也不预设事件时长。最后,作者扩展自然语言中的 CASE 表示,使抽象事件模型能够与人类对事件的理解相衔接,并为用户与计算机之间的交互提供表示接口。 作者报告在会议、监控和铁路监测领域的视频上展示了事件学习、检测与表示结果。摘要未提供数据集名称、样本规模、划分方式、对照基线或定量指标,因而尚不能判断其准确性、鲁棒性及相对优势;子事件如何提取、依赖关系与关联权重如何估计,以及实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务能够提供可重复识别的子事件及其时序关联,依赖图与图切分机制可能用于探索连续信号中的事件分段,而非直接构成已验证的 BCI 解码方法。可复用部分是图表示与聚类思路;需要改造的是 EEG 子事件提取、边权估计及任务语义映射。低信噪比、跨被试差异、通道变化和小样本可能使相关结构不稳定。一个可证伪的小实验是在具有事件边界标注的同一份 EEG 数据上,固定子事件提取和数据划分,比较依赖图切分与简单时序分段基线的边界检测表现。已有 EEG 相关工作尚未检索确认。
该研究将子事件依赖图学习、normalized cuts 事件检测与 CASE 语义表示串联,适合核对子事件相关性假设及其对未知参与主体数量、可变事件时长的适用边界,但摘要不足以判断检测性能。
来源:OpenReview · Representation learning · openreview.net