跳到正文
OpenReview · State space models· Jingwei Cai; Xuan Wang; Mingyu Gao; Sen Peng; Zijian Zhu; Yuchen Wei; Zuotong Wu; Kaisheng Ma·· 2025-01-01精选AI 评分79

SoMa:识别、探索与理解 DNN 加速器的 DRAM 通信调度空间

SoMa: Identifying, Exploring, and Understanding the DRAM Communication Scheduling Space for DNN Accelerators

AI 导读

基于摘要分析,且所给摘要末尾截断。本文研究 DNN 加速器中如何利用不断增大的片上缓冲区,通过多层融合和 DRAM 通信时序调度减少外部存储访问;核心贡献是以张量为中心的表示方法 Tensor-centric Notation、对应解析方法及端到端调度框架 SoMa。 作者指出,当片上缓冲区足以容纳多数网络的单层权重时,单层数据流优化对减少 DRAM 通信的作用会减弱。因此,论文将优化范围扩展到层融合场景中数据从 DRAM 预取、以及写回 DRAM 的时机,通过统一表示描述不同通信调度方案及其搜索空间,并面向不同加速器与工作负载探索该空间。其创新重点是硬件执行与数据搬运调度,而非新的神经网络模型或训练算法。 作者报告,在摘要所述加速器与工作负载评估中,相较 Cocco,SoMa 平均实现 2.11 倍性能提升,同时降低 37.3% 能耗。摘要未给出具体硬件配置、工作负载清单、性能指标定义或平均值计算方式,因此这些数字只能作为作者报告的总体结果,不能外推至任意模型或设备。作者还称 SoMa 已发展为其商业加速器产品的编译器,并用于 LLM 优化、设计空间探索(DSE)及实例分析;具体发现因材料截断尚未验证。 复现时需核对调度表示与合法性约束、搜索方法、缓冲区及 DRAM 带宽配置、Cocco 对照设置,以及性能和能耗的测量或建模方式。实验协议、消融及统计信息尚未验证,代码与商业编译器的公开可得性亦尚未验证。本文并非 EEG/BCI 算法研究,材料未提供相关部署或验证证据。

阅读价值

值得阅读其以张量为中心表示并搜索跨层 DRAM 通信调度空间的机制,以及相对 Cocco 的性能与能耗收益;具体评估配置与商业编译器的可复现条件尚未验证。

来源:OpenReview · State space models · openreview.net