跳到正文
OpenReview · State space models· Abdelrahman M Shaker; Syed Talal Wasim; Salman Khan; Juergen Gall; Fahad Shahbaz Khan·· 2024-09-26AI 评分74

GroupMamba:参数高效且准确的分组视觉状态空间模型

GroupMamba: Parameter-Efficient and Accurate Group Visual State Space Model

AI 导读

基于摘要分析。GroupMamba 研究面向计算机视觉的纯状态空间模型(SSM)在扩大模型规模时的训练不稳定与效率问题,提出 Modulated Group Mamba 层,并结合基于蒸馏的训练目标。原论文的主要研究对象是图像分类、目标检测及分割,而非 EEG 或 BCI。 核心机制是将输入通道分为四组,每组独立使用一个 Visual Single Selective Scanning(VSSS)块,分别沿四个空间方向之一扫描;再通过通道调制算子增强组间的跨通道信息交流。作者还提出蒸馏训练目标以稳定大模型训练,并报告其带来一致的性能收益。摘要未给出调制算子的具体形式、蒸馏教师与损失定义,相关实现尚未验证。 作者报告,模型在 ImageNet-1K 图像分类、MS-COCO 目标检测与实例分割、ADE20K 语义分割上优于现有方法。其中,23M 参数的 tiny 变体在 ImageNet-1K 上达到 83.3% 的分类 top-1 Accuracy;相对于作者所称同等模型规模下最佳的现有 Mamba 设计,摘要称其参数效率提升 26%。具体对照型号及效率计算口径尚未验证,不能直接将该数字解释为参数量减少 26%。完整实验协议、消融及统计信息尚未验证。摘要表示代码和模型将公开,不据此认定已发布。 平台推测(待验证):其分组扫描与跨通道调制可能适用于 EEG 时频图或具有明确电极拓扑的二维表示,但这是迁移假设。可复用的是分组处理与信息交互机制;需改造的是输入表示、扫描方向和视觉蒸馏教师。视觉空间邻接不必然对应 EEG 电极或频率关系,低信噪比、跨被试差异、通道缺失和小样本可能削弱收益。可在固定 Cross-subject 划分、相同输入与训练预算下,对比常规 Mamba 与分组扫描版本,并消融通道调制,同时报告分类表现、参数量与计算开销。已有 EEG 相关工作尚未检索确认。

来源:OpenReview · State space models · openreview.net