Mamba-Shedder：面向高效选择性结构化状态空间模型的后 Transformer 压缩

基于摘要分析。研究面向大型预训练序列模型的计算与存储开销，探索 Mamba 及其混合架构的压缩方法。作者将所提出的方案统称为 Mamba-Shedder，通过移除不同粒度的选定组件，分析模型对组件移除的敏感性，旨在减少模型规模与计算开销，同时维持模型性能；研究对象是通用 SSM 序列模型，并非 EEG/BCI 模型。 核心机制是组件移除与冗余削减，而非提出新的注意力机制。摘要未说明具体移除哪些组件、如何确定移除顺序，以及是否需要微调或其他性能恢复步骤，因此尚不能据此还原完整压缩流程。其阅读价值在于考察选择性结构化状态空间模型及混合架构内部是否存在可裁减的冗余，以及裁减粒度与性能、效率之间的关系。 作者报告，在摘要未披露的推理评估条件下，最高可获得 1.4 倍加速，且整体模型性能受到的影响较小。该结果尚缺具体模型、任务、数据集、硬件、精度设置、批量大小、序列长度及对照基线背景，不能直接解释为任意部署场景下的加速幅度。实验协议、消融及统计信息尚未验证。摘要提供了代码仓库，但实现内容及复现条件尚未核验。 平台推测（待验证）：若已有采用 Mamba 的 EEG 解码模型，组件移除可能用于降低部署开销；这一假设依赖目标模型确有可裁减冗余，并有代表性数据用于衡量压缩后的性能。可复用的是组件敏感性分析思路，需改造的是 EEG 任务指标、通道输入适配及跨被试评估流程。低信噪比、小数据与被试或通道差异可能使压缩损失在平均指标中被掩盖。一个可检验的小实验是在同一 EEG 模型、固定数据划分及硬件条件下，对照压缩前后任务指标、推理延迟与各被试表现，检验是否能降低延迟而不明显损害解码性能。已有 EEG 相关工作尚未检索确认。