跳到正文
OpenReview · State space models· Sheng-Chun Kao; Angshuman Parashar; Po-An Tsai; Tushar Krishna·· 2022-01-01精选AI 评分75

解析 NPU 的映射空间探索

Demystifying Map Space Exploration for NPUs

AI 导读

基于摘要分析。本文研究如何为深度神经网络(DNN)寻找在加速器上的优化映射,重点不是提出另一种 mapper,而是系统比较现有 mapper 使用的搜索技术,并提出可增强现有方法的 warm-start 与 sparsity-aware 技术。 映射空间探索的计算开销很高,已有研究采用启发式及学习方法降低搜索成本。作者指出,不同搜索技术如何探索映射空间、不同映射轴如何影响加速器性能与效率,仍缺乏系统认识。随着神经架构搜索带来的不规则 DNN 以及稀疏 DNN 出现,映射空间进一步复杂化。本文针对这一问题进行同条件比较;“首次此类比较”是作者的主张,尚未独立核实。 作者报告,基于比较所得认识提出的 warm-start 与 sparsity-aware 技术,在多种 DNN 模型上展示了加速、可扩展性与鲁棒性。但摘要未提供具体模型、硬件配置、搜索预算、对照方法或量化指标,也未明确加速所指的是搜索过程还是映射后的执行性能;两种技术的具体机制、实验协议、消融及统计信息尚未验证。摘要提供了代码地址,但代码完整性与复现条件尚未核查。 本文主要研究对象是 DNN 到加速器的映射搜索,而非 EEG 解码、BCI 或状态空间模型;不能根据来源栏目将其视为相关算法成果。材料未建立对 EEG/BCI 的具体机制对应关系,因此不据此提出迁移效果或复现实验建议。

阅读价值

值得阅读的是对不同 DNN 加速器映射搜索技术进行同条件比较的思路,以及可增强现有 mapper 的 warm-start 与 sparsity-aware 技术;其具体收益和适用边界仍需全文核对。

来源:OpenReview · State space models · openreview.net