跳到正文
OpenReview · State space models· Linyan Mei; Huichu Liu; Tony F. Wu; Huseyin Ekin Sumbul; Marian Verhelst; Edith Beigné·· 2022-01-01精选AI 评分78

面向多样架构与数据流的 DNN 加速器统一延迟模型

A Uniform Latency Model for DNN Accelerators with Diverse Architectures and Dataflows

AI 导读

基于摘要分析。该研究针对 DNN 加速系统早期设计中候选算法、硬件架构及算法到硬件映射组合庞大、延迟评估成本高的问题,提出统一的层内解析延迟模型,用于评估不同架构与数据流下的执行延迟,而非提出神经信号解码方法。 模型采用三步分析流程,估计不同系统组件的延迟构成、捕捉各存储器组件的运行状态,并识别停顿引起的性能瓶颈。为提高估计准确性,分析纳入不同存储器属性、操作数的存储器共享情形及数据流影响。摘要未给出三步流程的具体公式、参数获取方式及适用算子范围,尚不能据此判断模型的实现成本或覆盖边界。 作者报告,在内部已流片加速器的多种 DNN 层上验证时,延迟模型的平均准确度为 94.3%;该数值是特定硬件与层级工作负载下的延迟估计准确度,不是分类 Accuracy,具体误差定义与汇总方式尚未验证。作者还通过三个案例分别分析映射、工作负载及不同硬件架构对延迟的影响,以支持算法—硬件—映射协同优化。实验协议、对照、消融及统计信息尚未验证,代码与复现所需硬件参数的可获得性也尚未确认。 平台推测(待验证):若 EEG/BCI 的 DNN 解码器部署受存储访问和计算停顿制约,该组件级分析思路可能用于评估设备端推理延迟。可复用的是延迟分解框架,需适配目标算子、数据流、存储层级及硬件参数;其依赖的是工作负载与硬件描述,而非监督标签。低信噪比、跨被试差异及小数据首先影响解码可靠性,并非该模型直接解决的问题;通道数变化和短时窗、小批量推理则可能改变延迟瓶颈。一个可检验的小实验是在固定设备上,对同一 EEG 解码网络的不同映射逐层测量延迟,并核对模型预测误差及瓶颈定位是否一致。已有 EEG 相关工作尚未检索确认。

阅读价值

该研究将 DNN 加速器延迟分解与存储器停顿瓶颈关联,可为算法—硬件—映射协同设计提供可核对的分析框架,但其在 EEG/BCI 工作负载上的估计精度尚未验证。

来源:OpenReview · State space models · openreview.net