Knowledge Distillation 最新动态

GroupMamba：参数高效且准确的分组视觉状态空间模型

基于摘要分析。该研究面向计算机视觉中纯状态空间模型（SSM）扩展至较大规模时的训练不稳定与参数效率问题，提出 GroupMamba，以分组空间扫描、跨通道调制及蒸馏训练目标改善模型性能；其主要研究对象是视觉任务，而非 EEG 或 BCI。 核心机制是 Modulated Group Mamba 层：将输入特征通道划分为四组，每组独立使用一个 Visual Single Selective Scanning（VSSS）模块，分别沿四个空间方向扫描；再通过通道调制算子增强组间的跨通道信息交流。这里的“通道”指视觉特征通道，不能直接等同于 EEG 电极。作者还引入基于蒸馏的训练目标以稳定大模型训练，但摘要未给出教师模型、蒸馏损失形式及具体训练配置。 作者报告，该方法在 ImageNet-1K 图像分类、MS-COCO 目标检测与实例分割、ADE20K 语义分割上优于现有方法。其中，具有 23M 参数的 tiny 变体在 ImageNet-1K 分类中取得 83.3% 的 top-1 Accuracy；作者称其相较同等模型规模的最佳现有 Mamba 设计，参数效率提高 26%。摘要未明确这一效率比例的计算口径及具体对照型号，也未提供其余任务的分数，因此不能将不同任务或配置的结果直接比较。实验协议、消融及统计信息尚未验证。摘要提供了代码与模型发布地址，但实现与权重可用性尚未核验。 平台推测（待验证）：若 EEG 表征包含有意义的时间—空间或时间—频率结构，分组扫描与跨组调制可能成为降低计算开销、保留长程依赖的候选机制。可复用部分是分组 SSM 和调制思路，需改造输入编码与扫描方向；视觉二维邻接关系不能直接套用到电极布局。低信噪比、跨被试差异、通道缺失及小数据条件可能削弱收益，蒸馏还依赖可靠教师。一个可检验的小实验是在固定 EEG 输入、训练预算与被试划分下，对比分组扫描、加入调制及加入蒸馏的配置，分别报告被试内与跨被试性能、参数量和训练稳定性。此为迁移假设，并非本文已验证结论；已有 EEG 相关工作尚未检索确认。