用于长视频理解的选择性结构化状态空间模型

基于摘要分析。本文研究长视频中复杂时空依赖的高效建模，提出 Selective S4（作者称为 S5），通过自适应筛选信息量较高的图像 token，改善 S4 对所有 token 同等处理带来的效率与准确性问题；同时引入 long-short masked contrastive learning（LSMCL），缓解错误丢弃重要 token 的风险并扩展可建模的时间范围。 核心机制是使用轻量掩码生成器选择图像 token，并利用动量更新的 S4 模型提供引导。与依赖 Transformer 的既有掩码式 token 缩减方法相比，该设计避免密集自注意力计算。LSMCL 则使模型通过较短输入视频预测更长时间上下文。具体筛选规则、引导信号、损失形式，以及长短视频的构造与训练流程，摘要未给出，尚未验证。 作者报告，在 LVU、COIN 和 Breakfast 三个长视频理解数据集的比较中，该方法相对此前的 S4 模型持续取得提升，准确率提升最高为原文所述的 9.6%，内存占用减少 23%。摘要未明确这些最大增益对应的数据集、任务、划分与资源测量条件，也未说明 9.6% 是相对增幅还是百分点差值，因此不能据此作跨协议比较；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其潜在 EEG 对应问题是长序列中的冗余片段与计算开销，而非已证实的 BCI 性能提升。迁移假设依赖于神经信号中存在可稳定识别的任务相关片段；可复用状态空间建模、选择器及长短上下文学习思路，但需将图像 token 改为时间片段或时空信号表征，并重新定义筛选监督与对比目标。低信噪比、短暂 ERP、跨被试差异及通道变化可能使选择器误删有效信息，小数据也可能削弱引导信号。一个可证伪的小实验是在固定 Cross-subject 划分及同一 EEG 编码器下，对照不筛选的 S4、随机筛选和学习式筛选，并分别核对 LSMCL 的贡献，同时报告任务指标、内存与关键片段保留情况。相关 EEG 工作尚未检索确认。