视频分类的可扩展帧采样:基于缩减搜索空间的半最优策略方法
Scalable Frame Sampling for Video Classification: A Semi-Optimal Policy Approach with Reduced Search Space
基于摘要分析。本文研究如何从含 T 帧的视频中选取 N ≪ T 帧,以最大化固定视频分类器的性能。核心贡献是将帧组合搜索改为逐帧独立估值,再选择价值最高的 N 帧,以降低大规模帧采样的搜索负担。 原问题的候选组合数为 C(T,N)。作者提出半最优策略(semi-optimal policy),利用逐帧置信度估计各帧价值,并称可将搜索空间从 O(T^N) 缩减至 O(T)。这一表述针对搜索空间,不宜直接等同于包含置信度计算、策略学习和帧选择在内的端到端运行复杂度。摘要未说明置信度的具体定义、策略学习目标、监督来源,以及独立估值如何处理帧间冗余或互补信息。 作者报告,该策略在尤其是实际应用设置下能够高效近似最优策略;作者还报告,在多种数据集和模型架构上的实验中,学习该策略可在不同 N、T 规模下保持稳定且较高的性能。摘要未提供数据集名称、评估指标、数值、对照基线或适用条件,实验协议、消融及统计信息尚未验证,不能据此判断近似误差或计算收益。 平台推测(待验证):若 EEG 任务允许从长时序中选择少量时间片段供固定分类器使用,逐片段估值与选择机制可能用于减少输入量。可复用的是独立评分及选择框架;需将视频帧改为 EEG 时间窗,并核对片段置信度是否能够反映任务信息。该假设依赖可分段的时序数据和可靠评分,所需监督及训练规模尚未验证。低信噪比、跨被试差异、通道变化和小数据可能使置信度失准,独立选择也可能遗漏跨片段互补信息。一个可检验的小实验是在固定 EEG 分类器及一致数据划分下,以相同片段预算比较独立评分选择、均匀选择和随机选择,并在短序列上用穷举选择核对近似差距。已有 EEG 相关工作尚未检索确认。
值得核对的是以逐帧置信度独立估值替代组合搜索的机制,以及其近似最优策略所需的条件;对 EEG 时间片段选择的价值尚未验证。
来源:OpenReview · State space models · openreview.net