跳到正文
OpenReview · State space models· Xiao Zhou; Xiaogang Peng; Hao Wen; Yikai Luo; Keyang Yu; Ping Yang; Zizhao Wu·· 2024-01-01精选AI 评分73

在双曲空间中学习弱监督音视频暴力检测

Learning weakly supervised audio-visual violence detection in hyperbolic space

AI 导读

基于摘要分析。本文研究仅利用视频级标签定位音视频中的暴力片段,提出 HyperVD,将片段嵌入与图卷积建模置于双曲空间,以增强暴力片段和正常片段的表示区分能力;主要研究对象是音视频暴力检测,而非 EEG 或 BCI。 核心机制是两个全双曲图卷积网络分支,分别挖掘片段间的特征相似性与时间关系。作者认为,既有欧氏神经网络的特征空间限制了判别性表示学习,双曲空间能够更好地表达暴力与正常片段的语义差异。摘要未说明双曲空间的具体参数化、图构建方式、音视频融合方式、损失函数及视频级监督如何转化为片段级预测,这些机制尚未验证。 作者报告,在采用视频级标签进行弱监督学习的 XD-Violence benchmark 上,HyperVD 达到 85.67% AP,并称超过已有最先进方法。摘要未提供具体数据划分、AP 的计算细节、对照方法及其分数,因此不能量化所称优势,也不能将该结果与其他评估协议直接比较。实验协议、消融及统计信息尚未验证,复现仍需核对特征提取流程、图连接规则、双曲运算实现和训练配置。 平台推测(待验证):若 EEG 任务具有记录级标签但需要定位局部事件,片段相似性图与时间关系图可能构成可迁移的机制假设;原领域结果不等于 BCI 有效性。可复用的是关系建模思路,需要改造 EEG 片段特征、图构建和输出目标。低信噪比、跨被试差异、通道配置变化及小数据可能使相似性图不稳定,而 EEG 表征是否适合双曲几何尚不明确。一个可检验的小实验是在固定被试划分、特征及弱监督训练设置下,对比双曲与欧氏图卷积,并分别移除相似性图或时间关系图,检验收益是否来自几何空间而非额外关系建模。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 HyperVD 的双曲图卷积如何分别建模片段相似性与时间关系,以及其相对欧氏表示的增益是否在一致评估协议下成立;摘要中的性能结论尚需全文验证。

来源:OpenReview · State space models · openreview.net