基于选择性状态空间的高效自监督视频哈希
Efficient Self-Supervised Video Hashing with Selective State Spaces
基于摘要分析。本文研究用于视频索引与检索的自监督视频哈希(SSVH),针对 Transformer 时间建模中的计算与内存开销,提出基于 Mamba 的 S5VH,将选择性状态空间建模与改进的自监督学习范式结合,以平衡检索效果与计算效率。 机制上,S5VH 在编码器和解码器中采用双向 Mamba 层,利用数据依赖的选择性扫描捕获时间关系;摘要将该扫描机制的复杂度描述为线性,但不能据此推断完整系统的端到端复杂度。学习策略将特征空间中的全局语义转化为语义一致且具有判别性的哈希中心,再通过中心对齐损失提供全局学习信号。作者将整体范式称为 self-local-global(SLG);其局部学习部分、哈希中心构建方式及损失组合的具体定义尚未验证。 作者报告,在视频哈希实验中,S5VH 相较现有先进方法取得性能改善,并表现出更好的迁移性、收敛表现及可扩展的推理效率。摘要未给出数据集、划分、哈希码长度、检索指标、对照配置或硬件条件,因此尚不能量化这些优势,也不能将迁移性直接解释为跨数据集或 EEG 场景的有效性。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务可表述为时间序列片段的相似性检索,双向选择性扫描和哈希中心对齐可能分别对应长序列计算开销与紧凑表征学习问题。可复用的是序列建模与中心对齐思路,需改造视频特征输入、通道表征及语义中心的构建依据;其可行性依赖片段级相似性是否稳定,以及自监督信号能否形成有意义的中心。低信噪比、跨被试差异和小数据可能使中心主要编码被试身份或伪迹;双向建模也不宜直接视为在线因果解码方案。可检验的小实验是在固定 EEG 片段检索划分、哈希码长度与计算预算下,对比 Mamba 和 Transformer,并消融中心对齐,分别考察检索质量、延迟与内存。已有 EEG 相关工作尚未检索确认。
值得核对 S5VH 如何结合双向 Mamba 与全局哈希中心监督改善视频检索的效率和收敛;作者报告的性能、迁移性及推理效率优势仍需全文实验协议支持。
来源:OpenReview · State space models · openreview.net