跳到正文
OpenReview · State space models· Hao Zhang; Yongqiang Ma; Wenqi Shao; Ping Luo; Nanning Zheng; Kaipeng Zhang·· 2024-09-24AI 评分67

HRVMamba:用于密集预测的高分辨率视觉状态空间模型

HRVMamba: High-Resolution Visual State Space Model for Dense Prediction

AI 导读

基于摘要分析。该研究针对 Mamba 在人体姿态估计与语义分割等密集预测任务中的归纳偏置不足、长程遗忘及输出表示分辨率低的问题,提出 Dynamic Visual State Space(DVSS)模块,并结合 HRNet 的多分辨率并行设计构建 HRVMamba,以持续保留高分辨率表示并促进多尺度特征学习。 核心机制:DVSS 使用多尺度卷积核提取不同尺度的局部特征,增强视觉归纳偏置;引入可变形卷积,根据输入与任务相关信息进行自适应空间聚合。作者将这一设计用于缓解长程遗忘,但其具体作用方式及验证证据尚需正文确认。HRVMamba 在此基础上采用多分辨率并行架构,而非仅依赖低分辨率输出表示。摘要以 Mamba 相对于 token 长度的线性计算复杂度和全局感受野作为背景,不能据此直接认定完整 HRVMamba 的计算与显存开销。 结果与复现:作者报告,HRVMamba 在密集预测实验中取得了与现有基准模型有竞争力的结果。摘要未提供具体数据集、划分、对照模型或指标数值,实验协议、消融及统计信息尚未验证。作者表示将公开源代码,但当前材料不能确认代码已发布,也不能确认论文接收或发表状态。 平台推测(待验证):若将 EEG 时频表示或通道拓扑映射用于事件定位等密集预测任务,多尺度局部提取与高分辨率表示可能具有借鉴价值;这一假设依赖有意义的空间或时频邻接结构,以及相应位置级监督。可复用的是多尺度特征提取与并行表示思路,需改造的是视觉空间聚合方式及通道布局处理。低信噪比、跨被试差异、通道缺失和小样本可能使自适应聚合学习到不稳定模式。可在固定被试划分与相同训练预算下,对比基础 SSM 与加入多尺度、高分辨率或自适应聚合模块后的定位性能,检验收益是否稳定。相关 EEG 工作尚未检索确认,本文不构成已验证的 BCI 证据。

来源:OpenReview · State space models · openreview.net