跳到正文
OpenReview · State space models· Leiye Liu; Miao Zhang; Jihao Yin; Tingwei Liu; Wei Ji; Yongri Piao; Huchuan Lu·· 2025-01-01精选AI 评分72

DefMamba:可变形视觉状态空间模型

DefMamba: Deformable Visual State Space Model

AI 导读

基于摘要分析。DefMamba 针对视觉 Mamba 将图像按预定义扫描顺序展平成一维序列、难以充分利用空间结构的问题,提出结合多尺度骨干与 deformable mamba(DM)模块的视觉模型。其核心贡献是通过 deformable scanning(DS,可变形扫描)动态调整扫描路径,优先处理重要信息,以增强空间结构与目标细节的表征。 机制与结果:摘要将 DefMamba 称为视觉基础模型,但其预训练数据、规模与迁移设置尚未验证。动态扫描改变了特征进入序列处理的次序,而不只是采用固定遍历方式;扫描路径的生成方式、是否可微、训练目标及额外计算开销仍需正文确认。作者报告,DefMamba 在 image classification、object detection、instance segmentation 和 semantic segmentation 等视觉任务上达到领先性能;摘要未提供数据集、指标、划分或对照数值,因此目前无法评估收益幅度及不同任务间的一致性。作者称代码已开源,但材料未提供可核对的仓库地址。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若动态扫描能够根据输入选择有意义的邻接关系,其机制可能用于缓解 EEG 时空序列展平后电极空间关系被弱化的问题;但图像规则网格与 EEG 电极拓扑并不等价。可复用的是 SSM 序列建模与自适应扫描思路,需改造的是电极位置编码、时空扫描约束和重要性估计。低信噪比下扫描可能追随伪迹,跨被试或通道配置变化可能使路径不稳定,小数据也可能不足以学习可靠路径。一个可证伪的小实验是在同一 EEG 任务、固定跨被试划分和匹配训练预算下,仅替换固定扫描与动态扫描,比较任务指标、路径稳定性及计算开销。此项迁移并非作者已验证结果,相关 EEG 工作尚未检索确认。

阅读价值

值得核对其动态扫描路径如何保留空间结构,以及相对固定扫描的收益与计算代价;摘要中的领先性能结论仍需结合任务协议和对照实验验证。

来源:OpenReview · State space models · openreview.net