跳到正文
OpenReview · State space models· Hyunwoo Kim; Byoungchan Ko; Minseok Kang; Minwoo Kim; Dongjin Lee; Jaehoon Lee; Sungroh Yoon; Dahuin Jung·· 2026-01-26精选AI 评分77

SSDi8:面向状态空间对偶的准确高效 8 位量化

SSDi8: Accurate and Efficient 8-bit Quantization for State Space Duality

AI 导读

基于摘要分析。本文研究 Mamba-2 的 Structured State Space Duality(SSD)在内存与延迟方面的压缩问题,提出训练后量化框架 SSDi8,目标是在保持接近 FP16 精度的同时维持持续的 INT8 运算路径。主要研究对象是通用序列模型的量化与部署,并非 EEG 或 BCI 解码。 机制上,SSDi8 通过运算重写将逐元素乘法与矩阵乘法解耦,使量化激活能够跨模块复用;同时在成本较低的运算位置,对随通道变化的激活进行自适应量化,以降低延迟。精度补偿方面,该方法利用 SSD 内在的维度分解,针对不同轴上的异常值分布进行处理,并引入基于逐通道误差统计的校正项。作者将其描述为首个专门面向 SSD、维持持续 INT8 路径的训练后量化框架,该优先性声明尚未独立核实。 作者报告,在 W4A8 和 W8A8 设置下,SSDi8 的精度可与 FP16 相当,最高实现 1.4 倍加速,并在 Orin NX 设备上验证部署。摘要未提供具体任务、数据集、模型规模、精度指标、测速基线及批量大小,因而不能将最高加速值推广到所有模型或硬件。实验协议、消融及统计信息尚未验证。材料提供了代码地址,但代码完整性与复现条件尚未核验。 平台推测(待验证):若 EEG 序列解码器采用 Mamba-2/SSD,该量化机制可能用于降低端侧推理开销;其依赖 SSD 运算结构及可用于估计激活与误差统计的数据,不能直接套用于任意 EEG 模型。可复用部分是运算重写与量化校正,需重新校准 EEG 激活分布。低信噪比、跨被试或跨通道分布变化,以及小数据下校准统计不稳定,都可能削弱精度保持效果。一个可检验的小实验是在固定划分的同一 EEG 解码器上,对比 FP16、普通训练后量化与 SSDi8,分别测量被试内和跨被试解码指标、端侧延迟及内存占用。相关 EEG 工作尚未检索确认,以上不构成已验证的 BCI 收益。

阅读价值

值得核对 SSDi8 如何通过 SSD 运算重写、按轴处理异常值及逐通道误差校正兼顾 INT8 执行效率与精度,但其加速条件及对 EEG 模型的适用性尚未验证。

来源:OpenReview · State space models · openreview.net