面向弱监督音视频暴力检测的双空间嵌入学习
Dual Space Embedding Learning For Weakly Supervised Audio-Visual Violence Detection
基于摘要分析。本文研究弱监督音视频暴力检测,提出 Dual Space Embedding Learning(DSEL),在欧氏空间与双曲空间中挖掘暴力相关信息,以区分暴力与非暴力语义,并缓解音频和视觉暴力线索不同步的问题;研究对象不是 EEG 或 BCI。 机制上,作者首先设计双空间视觉特征交互模块(DSVFI),重点挖掘视觉模态中的暴力信息,其动机是视觉相较音频包含更丰富的信息。随后采用后期模态融合,并设计异步感知音视频融合模块(AAF):通过片段间交互与暴力信息的相互学习,使视觉特征接收来自音频特征的暴力提示。摘要未说明双曲空间的具体表示、弱监督标签粒度、损失函数及异步关系的实现方式。 作者报告,该方法在 XD-Violence 上达到当时最优表现;摘要未提供具体指标、分数、数据划分或对照方法,因此该结论目前只能作为作者报告记录,不能独立核实。实验协议、消融及统计信息尚未验证,复现所需的特征提取与训练配置也需查阅全文。 平台推测(待验证):可迁移的机制假设是,后期融合与异步感知交互可能适用于 EEG 与其他模态之间存在时间错位的任务,但原领域结果不等于 BCI 有效性。可考察复用 AAF 的融合思路,同时改造 EEG 编码器、时间窗口及对齐机制;双空间表示是否适合 EEG 则需另行验证。低信噪比、跨被试差异、通道变化与小数据可能使模态提示不可靠。一个小规模可证伪实验是在固定编码器、训练划分与模型容量的条件下,对已有同步 EEG 多模态数据施加可控时间偏移,比较普通后期融合与异步感知融合的性能随偏移变化情况。相关 EEG 工作尚未检索确认。
值得核对 DSEL 如何通过双空间视觉表征与异步感知后期融合处理音视频线索错位,但摘要尚不足以判断各模块的独立贡献及其对 EEG 多模态任务的适用性。
来源:OpenReview · State space models · openreview.net