用于长视频理解的选择性结构化状态空间模型

基于摘要分析。本文研究长视频中复杂时空依赖的高效建模，提出 Selective S4（S5），通过自适应筛选信息量较高的图像 token 减少计算负担，并引入 long-short masked contrastive learning（LSMCL），增强 token 筛选的鲁棒性与长时程上下文建模能力。 核心机制：作者认为，尽管 Structured State-Space Sequence（S4）具有线性复杂度，但对所有图像 token 同等处理会影响效率与准确率。S5 使用轻量掩码生成器选择 token，并由动量更新的 S4 模型提供引导，避免依赖稠密自注意力计算进行筛选。针对信息性 token 可能被误删的问题，LSMCL 使模型利用较短输入视频预测更长的时间上下文。具体掩码生成方式、对比目标、训练监督及推理流程尚未验证。 结果：在 LVU、COIN 和 Breakfast 三个长视频理解数据集的比较实验中，作者报告，相较此前的 S4 模型，Accuracy 提升最高达原文所述的 9.6%，内存占用降低 23%。摘要未明确 9.6% 是相对增幅还是百分点差，也未给出这些收益对应的具体任务、划分与配置，因此不能视为所有数据集均取得同等收益；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其潜在 EEG 对应问题是长时间序列中冗余片段的处理，但原方法依赖视频图像 token 与长短时间上下文，不等于已验证的 BCI 方法。可考虑复用状态空间骨干、筛选引导和长短对比思路，需重新定义 EEG 时间窗或通道 token，并核对监督需求。低信噪比可能使筛选器偏向伪迹，短暂判别信号可能被误删，被试与通道差异及小数据也可能降低筛选稳定性。一个可证伪的小实验是在固定 Cross-subject 划分与相同训练预算下，对比 S4、加入筛选的 S4 及再加入 LSMCL 的版本，同时记录任务指标、内存占用与保留比例。已有 EEG 相关工作尚未检索确认。