Mamba-Shedder：面向高效选择性结构化状态空间模型的后 Transformer 压缩

基于摘要分析。本文研究大型预训练序列模型的压缩，主要对象是选择性结构化状态空间模型（SSM），尤其是 Mamba 及其混合架构。作者提出统称为 Mamba-Shedder 的压缩方案，通过分析不同粒度组件移除的敏感性，减少模型规模与计算开销，并尽量保持准确性。 核心机制是识别并移除模型中的冗余组件，而非仅以 SSM 替换 Transformer 的注意力机制。摘要未明确组件类型、粒度定义、筛选准则，以及压缩后是否需要微调或恢复训练，因此尚不能确定其具体优化流程及不同混合架构的处理方式。 作者报告，在所评估的模型与推理设置下，推理加速最高达到 1.4 倍，且整体模型性能受影响较小；摘要未提供对应硬件、任务、数据集、基线、性能指标或准确性变化幅度，不能将该加速视为任意部署条件下的通用收益。实验协议、消融及统计信息尚未验证。材料提供了代码仓库，但具体实现、运行配置和复现条件仍需核对。 平台推测（待验证）：若 EEG 序列建模已采用 Mamba 或其混合架构，组件敏感性分析可能用于探索推理成本与解码性能的权衡。可复用的是组件移除与性能评估流程，需改造的是面向 EEG 任务的敏感性判据与校准数据；低信噪比、跨被试差异、通道变化及小样本可能使原本看似冗余的组件承担关键作用。一个可检验的小实验是在固定跨被试划分与同一硬件下，对既有 EEG Mamba 模型进行逐级压缩，同时比较预先选定的解码指标、推理延迟及各被试性能变化。该迁移假设不属于论文已验证结论，已有 EEG 相关工作尚未检索确认。