跳到正文
OpenReview · State space models· Tien-Yu Chi; Hung-Yueh Chiang; Diana Marculescu; Kai-Chiang Wu·· 2025-12-31精选AI 评分72

QuarterMap:面向视觉状态空间模型的高效训练后 Token 剪枝

QuarterMap: Efficient Post-Training Token Pruning for Visual State Space Models

AI 导读

基于摘要分析。本文研究视觉状态空间模型中四方向扫描的空间冗余,提出 QuarterMap:在扫描前移除冗余空间激活,再通过最近邻上采样恢复尺寸,以无需重新训练的方式提高推理吞吐量。主要研究对象是 VMamba,以及共享四方向扫描结构的医学影像模型 MedMamba,并非 EEG 或 BCI 模型。 机制与对照:QuarterMap 属于训练后激活剪枝,针对 SSM 的扫描计算减少输入空间冗余。作者将其与 ToMe 等 Token 合并方法区分,强调避免代价较高的合并与还原操作。摘要未说明激活选择规则、剪枝位置与比例、尺寸恢复的具体位置,以及是否需要校准数据;这些实现细节尚未验证。 结果:作者报告,在 ImageNet-1K 上,QuarterMap 对 VMamba 实现最高 11% 的加速,同时 accuracy 下降小于 0.9%;摘要未明确该下降是相对百分比还是百分点。作者还报告在 ADE20K 分割任务上取得类似收益,并在 MedMamba 的多个医学影像任务上提高吞吐量且保持准确性,但未提供具体任务、数据集与数值。硬件、批量大小、模型配置、数据划分、对照基线、消融及统计信息尚未验证,因此不能据此确认不同部署条件下的收益。 平台推测(待验证):若 EEG 模型将通道或时频表示组织为二维输入,并采用相同的四方向扫描结构,可假设扫描前剪枝能够缓解推理计算瓶颈;可复用剪枝与尺寸恢复流程,但需改造冗余判定,避免移除短暂或低幅度的任务相关信号。低信噪比、通道布局差异及跨被试分布变化可能使视觉空间冗余假设失效,最近邻上采样也不能保证恢复被删信息。一个可证伪的小实验是在固定 EEG 模型与被试划分下,对照不剪枝与不同剪枝比例,测量同一硬件、同一批量下的吞吐量和任务 Accuracy,并分别报告被试内与跨被试结果。已有 EEG 相关工作尚未检索确认。

阅读价值

QuarterMap 将扫描前空间激活剪枝与扫描后尺寸恢复结合,提供无需重新训练的视觉 SSM 推理加速路径,值得核对其实际吞吐量收益、精度代价及对四方向扫描结构的依赖。

来源:OpenReview · State space models · openreview.net