基于选择性状态空间的高效自监督视频哈希
Efficient Self-Supervised Video Hashing with Selective State Spaces
基于摘要分析。本文研究自监督视频哈希(SSVH),目标是在视频索引与检索中兼顾时序建模效果和计算、内存效率。作者提出基于 Mamba 的 S5VH,将双向状态空间建模与 self-local-global(SLG)学习范式结合,生成用于检索的哈希表示;原研究对象是视频,而非 EEG 或 BCI。 核心机制包括在编码器和解码器中使用双向 Mamba 层,通过数据依赖的选择性扫描捕获时序关系,摘要称该扫描机制具有线性复杂度。在学习策略上,模型把特征空间中的全局语义转化为语义一致且具有判别性的哈希中心,再以中心对齐损失提供全局学习信号。摘要未展开 SLG 各部分的具体构造、损失公式或哈希中心生成流程,不能据此补写训练细节。 作者报告,在所开展的视频哈希实验中,S5VH 相较先进方法取得改进,并表现出更好的迁移能力、随规模增长的推理效率优势,以及更快、更好的收敛。摘要未提供数据集、划分、对照配置、检索指标或数值,因此这些结论的适用范围与效果幅度尚未验证;实验协议、消融及统计信息也尚未验证。材料提供了代码仓库,但实现与论文的一致性、数据处理和运行条件仍需核对。 平台推测(待验证):若目标是 EEG 片段相似性检索,而非直接分类,选择性时序扫描与紧凑哈希表示可能分别对应长序列计算成本和检索存储成本两个瓶颈。可尝试复用状态空间时序模块与中心对齐思路,但需改造多通道 EEG 输入及片段表征,并核对原方法对视频特征、语义结构和训练规模的依赖。低信噪比、跨被试差异、通道变化及小数据条件可能使哈希中心反映伪迹或被试身份,而非目标语义。一个可检验的小实验是在固定 EEG 片段检索任务、相同输入和训练划分下,对比 Mamba 与 Transformer 时序模块,并对中心对齐项做消融,评估检索质量、推理时间和峰值内存;被试内与跨被试结果应分开报告。已有相关 EEG 工作尚未检索确认。
值得核对 S5VH 如何将双向选择性状态空间建模与全局哈希中心对齐结合,以改善视频检索的训练和推理效率,但其具体性能优势及 EEG 迁移价值尚未验证。
来源:OpenReview · State space models · openreview.net