跳到正文
OpenReview · State space models· Hazoor Ahmad; Tabasher Arif; Muhammad Abdullah Hanif; Rehan Hafiz; Muhammad Shafique·· 2020-11-01精选AI 评分78

SuperSlash:面向降低片外存储访问量的深度学习加速器设计的统一设计空间探索与模型压缩方法

SuperSlash: A Unified Design Space Exploration and Model Compression Methodology for Design of Deep Learning Accelerators With Reduced Off-Chip Memory Access Volume

AI 导读

基于摘要分析。本文研究资源受限嵌入式设备上深度学习加速器的片外存储访问问题,提出 SuperSlash,将设计空间探索(DSE)与模型剪枝联合起来,而非分别优化硬件执行方案和模型大小。主要研究对象是深度学习模型的硬件部署与访存成本,并非 EEG 或 BCI 解码。 核心机制是为各层探索多种设计候选,包括数据复用策略及层融合,并估计对应的片外存储访问量。层融合通过直接将某层输出用于后续层计算,减少中间结果写入片外存储的需求。随后,SuperSlash 使用基于探索所得逐层访存成本的排序函数引导剪枝。作者指出,即便剪枝模型具有相同精度和模型大小,不同剪枝策略仍可能产生不同访存量,因此仅以参数规模衡量压缩收益不足以代表部署成本。 作者报告,相较其采用的最先进方法,VGG16、ResNet56、ResNet110 和 MobileNetV1 的片外存储访问量分别最多降低 57.71%、25.83%、47.73% 和 29.02%。这些数字属于各模型在原文比较条件下的最高降幅;摘要未给出具体基线、数据集、精度约束、片上存储容量及硬件配置,不能据此推断实际延迟或能耗的同幅改善。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若嵌入式 EEG 解码的部署瓶颈确为片外访存,而非采集、预处理或计算吞吐,该联合优化思路可能适用。可复用部分是逐层访存建模与成本引导剪枝;需针对 EEG 模型的时序算子、张量形状及目标硬件重新建立数据复用和融合约束。低信噪比、跨被试差异及小数据条件可能放大剪枝后的精度损失,轻量模型也可能原本即可完全驻留片上,使该方法收益有限。可检验的小实验是在固定 EEG 数据划分、硬件和精度约束下,对比常规剪枝与访存成本引导剪枝的片外访问量、解码指标及实测延迟。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其按片外存储访问成本引导剪枝的机制:作者报告同等精度与模型大小并不意味着相同访存量,这为资源受限部署中联合优化模型与加速器提供了具体研究切入点。

来源:OpenReview · State space models · openreview.net