跳到正文
OpenReview · State space models· Masakazu Yoshimura; Teruaki Hayashi; Yuki Hoshino; Wei-Yao Wang; Takeshi Ohashi·· 2025-09-15精选AI 评分75

SF-Mamba:重新思考面向视觉的状态空间模型

SF-Mamba: Rethinking State Space Model for Vision

AI 导读

基于摘要分析。该研究针对视觉 Mamba 中单向递归扫描限制图像 patch 非因果交互、多扫描策略引入数据重排开销,以及短 token 序列下计算速度较慢的问题,提出视觉编码器 SF-Mamba,试图同时改善信息交互与计算效率。 核心机制包括两项设计:通过辅助 patch 交换,在单向扫描下编码双向信息流;通过 batch folding 与周期性状态重置,提升 GPU 并行性。摘要未给出 patch 交换规则、batch folding 的具体张量组织、状态重置周期及其对上下文保留的影响,因此这些实现细节尚未验证。其创新重点是重新设计扫描与执行方式,而非仅增加扫描方向。 作者报告,在图像分类、目标检测、实例分割和语义分割实验中,SF-Mamba 相比作者所称的最先进基线取得更好的任务表现,并在不同模型规模下提高吞吐量。摘要未提供数据集、指标数值、基线名称、硬件、batch size 或吞吐量测量条件,无法据此量化收益或判断公平比较;实验协议、消融及统计信息尚未验证。材料称代码将在发表后发布,当前代码可用性与论文发表状态不能由此推定。 平台推测(待验证):该方法原本依赖图像 patch 序列及 GPU 批处理结构,其扫描效率设计可能为短序列 EEG 编码提供参考,但不构成已验证的 BCI 效果。迁移假设是,辅助 token 交换能够改善 EEG 时间窗或通道 token 的信息交互;需改造 patch/token 构造与交换规则,并检查周期性状态重置是否损失跨窗依赖。低信噪比、跨被试差异、通道排列变化及小数据训练可能削弱收益。可在固定 EEG 数据划分与同一硬件、batch size 下,对照普通单向扫描,分别加入交换和状态重置,比较任务指标与吞吐量;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 SF-Mamba 如何以辅助 patch 交换和周期性状态重置兼顾信息交互与 GPU 吞吐量,但其相对基线的效果及迁移至 EEG 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net