Mamba-Adaptor:用于视觉识别的状态空间模型适配器
Mamba-Adaptor: State Space Model Adaptor for Visual Recognition
基于摘要分析。该研究针对 Mamba 应用于视觉任务时的全局上下文访问受限、长程遗忘及序列化输入削弱空间结构建模的问题,提出包含 Adaptor-T 和 Adaptor-S 的 Mamba-Adaptor。研究对象是视觉识别与视觉迁移学习,并非 EEG 或 BCI。 机制上,Adaptor-T 在 SSM 隐藏状态计算过程中使用轻量预测模块,选择一组可学习位置作为记忆增强,以缓解长程遗忘;Adaptor-S 采用多尺度空洞卷积核增强空间建模,将图像归纳偏置引入输出特征。作者认为,两者通过补充原本不可访问的特征,扩大因果计算中的上下文建模范围。摘要未说明位置选择的具体参数化、记忆注入方式、卷积配置或训练目标,相关实现尚未验证。 作者探索了三种用法:作为通用视觉骨干、作为提升预训练骨干表现的增强模块,以及作为迁移学习的高效微调模块。作者报告三种设置中的实验均支持方法有效,并声称在 ImageNet 和 COCO 基准上达到最先进表现;摘要未提供具体任务、数据划分、指标数值、对照模型及计算开销,因此尚不能核对性能提升幅度或效率优势。实验协议、消融及统计信息尚未验证。 平台推测(待验证):其潜在迁移路径是以记忆增强缓解 EEG 长序列建模中的信息衰减,并以空间适配器补充通道结构信息。该假设依赖可用的时序特征、明确的电极空间关系及足够的训练数据;可复用记忆增强思路,但图像多尺度卷积需改造为适配电极布局的空间运算,不能直接把通道顺序视为图像网格。低信噪比可能使记忆位置偏向伪迹,跨被试差异、通道布局变化及小数据也可能削弱收益。一个可检验的小实验是在固定 Cross-subject 划分和相同 Mamba 骨干下,对照无适配器、仅记忆增强、仅通道空间适配及二者组合,检查同一任务指标与计算开销。已有 EEG 相关工作尚未检索确认,原视觉结果不构成 BCI 有效性证据。
值得核对其可学习位置记忆增强与多尺度空间适配机制,尤其是作为预训练 Mamba 骨干增强和高效微调模块的实现;其 EEG 迁移价值尚未验证。
来源:OpenReview · State space models · openreview.net