V2M:用于图像表征学习的视觉二维 Mamba
V2M: Visual 2-Dimensional Mamba for Image Representation Learning
基于摘要分析。本文研究视觉 Mamba 将二维图像展平为一维 token 序列后,原有二维结构信息难以充分保留的问题,提出直接在二维空间处理图像 token 的 Visual 2-Dimensional Mamba(V2M)。其核心贡献是将状态空间模型(SSM)推广至二维,使下一状态同时考虑两个维度上的相邻状态,而不仅通过调整一维扫描顺序补偿空间结构。 机制上,V2M 基于二维 SSM 构建,并结合 Mamba 实现面向硬件效率的并行处理。作者认为,这使模型能够引入二维局部性先验,同时保留 Mamba 的效率与输入依赖的可扩展性。摘要未提供状态更新公式、并行计算实现、训练目标及具体模型配置,尚不能据此判断其计算与存储开销。 作者报告,在 ImageNet 图像分类、COCO 目标检测与实例分割,以及 ADE20K 语义分割任务中,V2M 相较其他视觉骨干表现出有效性。摘要未给出具体指标、数据划分、对照模型或训练预算,因此无法量化收益或确认比较条件;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可检验的迁移假设是,将二维相邻状态更新用于 EEG 时频表示,以建模时间与频率方向的局部关系。原方法依赖二维规则网格,摘要仅支持其在视觉任务中的验证;可复用候选是二维 SSM 更新机制,输入编码和输出任务头则需改造。EEG 的低信噪比、跨被试差异及小数据条件可能削弱收益,电极通道也不能直接视作具有图像式邻接关系。小规模验证可在固定 EEG 时频表示、相同被试划分和训练预算下,比较二维 SSM 与展平后一维 Mamba,并分别报告被试内和跨被试结果。该假设不构成已验证的 BCI 效果,已有 EEG 相关工作尚未检索确认。
值得核对其二维 SSM 如何保留图像局部结构及实现并行计算;该机制对二维信号表示有潜在参考价值,但摘要不足以确认其 EEG/BCI 适用性。
来源:OpenReview · Representation learning · openreview.net