通过分组感知 SSM 剪枝实现混合语言模型的高效压缩

基于摘要分析。本文研究 Attention 与 State Space Models（SSMs）混合语言模型的压缩，提出面向 Mamba 层的分组感知剪枝，并结合 FFN 剪枝、嵌入维度剪枝、层剪枝及基于知识蒸馏的再训练，形成统一压缩方案。主要研究对象是语言模型，而非 EEG 或 BCI。 核心机制是让 Mamba 剪枝考虑组级结构，目标是在缩减模型规模时保持 SSM 模块的结构完整性与序列建模能力。摘要未说明分组定义、剪枝重要性准则、各类剪枝的执行顺序、蒸馏损失或再训练设置，这些细节尚未验证。 作者报告，将 Nemotron-H 8B Hybrid 压缩至 4B 参数后，相较类似规模模型，训练 token 用量最多减少 40 倍；所得模型的准确性超过类似规模模型，并实现约 2 倍的推理吞吐量。摘要未提供具体对照模型、评估任务、准确性指标、训练 token 统计口径，以及吞吐量测试的硬件、精度、批量大小和序列长度，因此这些结果只能保留在作者所述比较背景下，不能视为所有部署条件下的普遍收益。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 序列模型也采用 Mamba 或 Attention–SSM 混合结构，组级结构约束可能为压缩提供可复用思路；这一假设依赖兼容的 SSM 参数结构、可用教师模型及足够的蒸馏数据，需要改造语言模型的输入表示与任务监督。EEG 的低信噪比、通道差异、跨被试变化及小数据条件可能使剪枝损伤有效时序特征，语言模型上的收益并不等于 BCI 有效性。可在固定划分的既有 EEG Mamba 模型上，以相同压缩预算比较未剪枝模型、常规结构化剪枝与分组感知剪枝，分别检验原任务指标和同硬件推理吞吐量；已有 EEG 相关工作尚未检索确认。