跳到正文
OpenReview · State space models· Badri N Patro; Vijay S Agneeswaran·· 19 天前精选AI 评分75

HAMSA:通过 SpectralPulseNet 实现免扫描视觉状态空间模型

HAMSA: Scanning-Free Vision State Space Models via SpectralPulseNet

AI 导读

基于摘要分析。HAMSA 研究视觉状态空间模型(SSMs)处理二维图像时对复杂扫描策略的依赖,提出直接在频域运行的免扫描模型,以减少扫描带来的计算开销与架构复杂性;原论文的主要对象是视觉任务,而非 EEG 或 BCI。 机制上,HAMSA 使用单个高斯初始化的复数核替代传统的(A、B、C)矩阵,作者称这可消除离散化不稳定性;SpectralPulseNet(SPN)通过输入依赖的频率门控实现自适应频谱调制,Spectral Adaptive Gating Unit(SAGU)则采用基于幅值的门控以稳定频域梯度流。模型利用 FFT 卷积避免顺序扫描,作者给出的复杂度为 O(L log L)。核的具体参数化、门控公式、训练损失与边界处理尚未验证。 作者报告,在 ImageNet1K 上取得 85.7% top-1 Accuracy,并称其为 SSM 中的最优结果。摘要还报告,相比 DeiT-S,推理耗时为 4.2 ms 对 9.2 ms,约快 2.2 倍;相比扫描式 SSM,速度提升 1.4–1.9 倍,显存为 2.1 GB 对 3.2–4.5 GB,能耗为 12.5 J 对 18–25 J。上述比较的硬件、批大小、输入尺寸、模型规模及测量范围尚未验证,不能据此认定不同部署条件下仍有相同优势。作者另称模型在迁移学习和密集预测任务中具有较强泛化能力,但摘要未提供任务级指标。实验协议、消融及统计信息尚未验证;摘要提供了项目仓库地址,其内容与复现完备性尚未核验。 平台推测(待验证):假设输入依赖频率门控能够保留任务相关节律,其机制可能用于 EEG 长时间窗建模,但视觉结果不构成 BCI 有效性证据。可考虑复用频域卷积与门控模块,需改造时间轴与通道组织,并核对 FFT 边界处理;低信噪比、非平稳信号、跨被试频谱差异及小数据条件可能使门控偏向伪迹或过拟合。一个可检验的小实验是在固定跨被试 EEG 划分和一致训练预算下,对比完整门控、静态频率权重及移除门控的版本,同时测量任务指标与同硬件推理耗时。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其以频域卷积替代二维扫描的机制,以及输入依赖频率门控带来的效率与精度收益;摘要中的速度和资源优势仍需结合硬件、模型规模及测量协议验证。

来源:OpenReview · State space models · openreview.net