跳到正文
OpenReview · State space models· Xiaogang Peng; Hao Wen; Yikai Luo; Xiao Zhou; Keyang Yu; Yigang Wang; Zizhao Wu·· 2023-01-01精选AI 评分72

在双曲空间中学习弱监督音视频暴力检测

Learning Weakly Supervised Audio-Visual Violence Detection in Hyperbolic Space

AI 导读

基于摘要分析。本文研究弱监督音视频暴力检测:仅利用视频级标签,识别多模态视频中的暴力片段。作者提出 HyperVD,通过在双曲空间学习片段嵌入,增强暴力事件与正常事件的表征区分能力;这不是 EEG 或 BCI 研究。 机制上,HyperVD 使用 detour fusion 模块融合音频与视觉信号,旨在缓解模态不一致;另设两个完全双曲图卷积网络分支,分别挖掘片段间的特征相似性和时间关系。相较于摘要所述的既有欧氏空间方法,其主要区别是将片段表示及图关系建模置于双曲空间。具体双曲空间参数化、图构建方式、融合运算、损失函数及弱标签如何约束片段预测,尚未验证。 作者报告,在 XD-Violence benchmark 上,HyperVD 明显优于已有最先进方法。摘要未提供指标名称、具体分数、数据划分或对照方法,因此无法量化优势,也不能判断提升来自空间几何、融合模块还是关系建模;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务同样只有整段记录标签,却需要定位局部事件,可假设片段级关系建模具有借鉴价值;若同时存在音频、视频等辅助模态,detour fusion 也可能提供融合思路。可复用候选是片段关系建模与双曲嵌入,需改造的是 EEG 特征提取、片段划分及标签到局部预测的监督机制。低信噪比可能使相似性图不可靠,跨被试与通道差异可能改变图结构,小数据也可能不足以支持额外几何建模。一个可检验的小实验是在同一 EEG 弱监督事件定位任务中,固定特征、数据划分和训练预算,对比欧氏与双曲片段关系模块,按独立被试划分评估局部定位表现。该建议不是原论文结果,相关 EEG 工作尚未检索确认。

阅读价值

值得核对 HyperVD 如何以双曲空间片段表征、detour fusion 和图卷积联合处理弱监督音视频事件定位,其对 EEG 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net