跳到正文
OpenReview · State space models· Xianping Ma; Xiaokang Zhang; Man-On Pun·· 2024-01-01AI 评分69

RS3Mamba:用于遥感图像语义分割的视觉状态空间模型

RS3Mamba: Visual State Space Model for Remote Sensing Image Semantic Segmentation

AI 导读

基于摘要分析。该研究针对遥感图像语义分割中 CNN 长程建模能力受限、Transformer 计算复杂度较高的问题,提出双分支网络 RS3Mamba,以视觉状态空间(VSS)辅助分支为卷积主分支补充全局信息,并通过 collaborative completion module(CCM)细化和融合双编码器特征。 核心机制是结合卷积分支的特征提取与 VSS 分支的长程关系建模。摘要将 Mamba 所代表的 VSS 模型描述为能够以线性计算复杂度建模长程关系;CCM 则针对两分支的不同特性采用自适应机制完成特征融合。具体扫描方式、模块结构、损失函数及训练配置尚未验证,不能据此判断实际计算和存储开销。 作者报告,在遥感语义分割实验中,相对所比较的先进方法,RS3Mamba 在 ISPRS Vaihingen 和 LoveDA Urban 上的 mIoU 提升分别记为 0.66% 和 1.70%。摘要未明确这两个数值属于相对百分比还是绝对百分点,也未提供基线名称、数据划分和分数明细,因此不宜扩大比较结论。实验协议、消融及统计信息尚未验证。摘要提供了源码地址,但实现完整性与复现条件尚未核验。 平台推测(待验证):局部卷积特征与长程状态空间特征互补的机制,可作为 EEG 时序建模的迁移假设,但原研究依赖遥感图像及语义分割监督,不构成 BCI 有效性证据。可考虑复用双分支融合思路,改造输入编码、序列组织和任务输出;EEG 的低信噪比、通道差异、跨被试分布变化及小数据条件可能使辅助分支收益消失。一个可证伪的小实验是在固定 EEG 数据划分与训练预算下,比较卷积基线、加入 VSS 分支、再加入 CCM 的表现,并分别报告被试内和跨被试结果及计算开销。已有 EEG 相关工作尚未检索确认。

来源:OpenReview · State space models · openreview.net