跳到正文
OpenReview · State space models· Wentao Zhu; Yufang Huang; Xiufeng Xie; Wenxian Liu; Jincan Deng; Debing Zhang; Zhangyang Wang; Ji Liu·· 2023-01-01精选AI 评分76

AutoShot:短视频数据集与达到当前最佳水平的镜头边界检测

AutoShot: A Short Video Dataset and State-of-the-Art Shot Boundary Detection

AI 导读

基于摘要分析。本文研究短视频的镜头边界检测(shot boundary detection,SBD),贡献包括公开数据集 SHOT,以及通过神经架构搜索优化检测模型的 AutoShot 方法。其主要研究对象是视频内容结构分析,而非 EEG、BCI 或状态空间模型。 数据与方法:作者介绍,SHOT 包含 853 个完整短视频和 11,606 个镜头标注,其中 200 个测试视频包含 2,716 个高质量镜头边界标注。AutoShot 的架构搜索空间涵盖多种 3D ConvNets 与 Transformers,利用该数据集优化视频 SBD 模型设计。具体搜索算法、候选结构、损失函数、训练配置及推理成本尚未验证。 结果与对照:作者报告,在 SHOT 上开发并评估的 AutoShot,其 F1 相比 TransNetV2 提升 4.2%;为检验架构泛化能力,作者还在 ClipShots、BBC 和 RAI 三个公开数据集上直接评估,报告 F1 相比此前最佳方法分别提升 1.1%、0.9% 和 1.2%。摘要未给出绝对 F1,也未明确这些提升是相对百分比还是百分点,因此不能将其换算为绝对分数增益。跨数据集评估是否涉及额外训练、各数据集的划分、边界匹配容差及具体对照方法,均需核对全文。 复现与范围:摘要提供了 SHOT 数据集及代码的仓库地址,但资源可访问性、许可、预处理和完整复现条件尚未验证;实验协议、消融及统计信息尚未验证。视频镜头边界检测的结果不能直接外推为神经信号事件检测效果,相关 EEG 工作尚未检索确认。仅凭摘要中的架构搜索机制,暂不提出具体 BCI 迁移实验。

阅读价值

值得阅读的具体原因是其同时提供短视频镜头边界标注资源与基于神经架构搜索的检测方法,并报告跨数据集评估;这些证据针对视频任务,尚不能支持 EEG 或 BCI 有效性。

来源:OpenReview · State space models · openreview.net