跳到正文
OpenReview · State space models· Jiaxu Leng; Zhanjie Wu; Mingpi Tan; Yiran Liu; Ji Gan; Haosheng Chen; Xinbo Gao·· 2024-01-01精选AI 评分70

超越欧氏空间:用于弱监督视频暴力检测的双空间表示学习

Beyond Euclidean: Dual-Space Representation Learning for Weakly Supervised Video Violence Detection

AI 导读

基于摘要分析。该研究针对弱监督 Video Violence Detection(VVD)中正常事件与暴力事件视觉相似、欧氏空间特征难以充分区分的问题,提出 Dual-Space Representation Learning(DSRL),联合欧氏与双曲几何学习事件的视觉特征及内在关系。主要研究对象是视频暴力检测,而非 EEG 或 BCI。 机制上,DSRL 在双曲空间中逐步聚合事件上下文,通过受双曲 Dirichlet 能量约束的层敏感双曲关联度选择聚合节点;同时利用 cross-space attention 促进欧氏空间与双曲空间之间的信息交互,形成用于最终暴力检测的判别特征。其方法价值在于将视觉表示与关系表示置于不同几何空间,并通过跨空间交互联合利用,而不只是替换特征空间。 作者报告,综合实验支持 DSRL 的有效性,但摘要未提供数据集、弱监督标签粒度、训练与测试划分、对照基线或具体指标。双曲空间构造、关联度与能量约束的具体形式、损失函数、实验协议、消融及统计信息尚未验证,因此不能判断各模块的独立贡献或提升幅度。 平台推测(待验证):若 EEG 任务中的片段关系具有可验证的层级结构,双空间表示可能为局部信号特征与事件关系提供互补建模,假设其可缓解相似脑状态的表征混淆。可考虑复用双曲聚合及跨空间注意力,但需将视频特征编码替换为 EEG 编码,并明确节点、上下文和监督粒度;原方法所依赖的关系结构与数据规模尚未验证。低信噪比、跨被试差异、通道变化及小数据可能导致关联度不稳定,或使双曲结构主要拟合噪声。一个可证伪的小实验是,在固定 EEG 特征与 Cross-subject 划分下,比较欧氏聚合、双曲聚合及双空间交互,并检验移除关系结构后收益是否仍存在。相关 EEG 工作尚未检索确认,原领域结果不构成 BCI 有效性的证据。

阅读价值

值得阅读的是 DSRL 如何以双曲信息聚合和跨空间注意力区分视觉相似事件,但摘要未提供量化结果,其有效性及向 EEG 迁移的价值尚待验证。

来源:OpenReview · State space models · openreview.net