跳到正文
OpenReview · State space models· Ruoyang Liu; Chenhan Wei; Yixiong Yang; Wenxun Wang; Binbin Yuan; Huazhong Yang; Yongpan Liu·· 2024-01-01精选AI 评分76

基于在线量化敏感度分析、面向细粒度混合精度模型训练的动态执行神经网络处理器

A Dynamic Execution Neural Network Processor for Fine-Grained Mixed-Precision Model Training Based on Online Quantization Sensitivity Analysis

AI 导读

基于摘要分析。本文研究神经网络训练中细粒度混合精度低比特计算的专用处理器设计,提出利用在线量化敏感度分析支持动态执行的训练芯片,目标是降低控制、存储和 I/O 开销,并缓解浮点运算单元的功耗瓶颈;主要研究对象是训练硬件,而非 EEG 解码或 BCI 算法。 其设计包含三个关键部分:量化敏感度感知的动态执行控制器、动态位宽自适应数据通路,以及低功耗多级对齐块浮点单元(BFPU)。这些模块构成从敏感度分析、执行控制到算术单元的协同设计路径,但摘要未说明敏感度的计算方式、位宽分配粒度、支持的精度格式,以及训练数值稳定性的保障机制,具体实现尚未验证。 作者报告该芯片达到 13.2 TFLOPS/W 的能效和 1.07 TFLOPS/mm² 的面积效率。摘要未提供对应工作负载、计算精度、工艺、功耗测量边界及对照基线,因此这些数字不能直接用于跨芯片性能比较,也不能据此判断完整训练流程的加速或精度保持效果。训练任务、收敛结果、实验协议、消融及统计信息尚未验证。 平台推测(待验证):在线敏感度驱动的位宽调整可能用于降低 EEG 模型训练的硬件成本,但这依赖模型算子能否映射到该处理器,以及敏感度估计在低信噪比、小数据和跨被试变化下是否稳定。可复用的是敏感度驱动的精度调度思路,需适配的是 EEG 模型算子与硬件执行路径;小规模验证可在固定 EEG 数据划分和同一模型下,对比统一精度与动态混合精度训练的任务指标、收敛稳定性和实测能耗。以上不是本文已验证的 BCI 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将在线量化敏感度分析与动态执行、位宽自适应数据通路及块浮点单元协同设计的硬件路径,但摘要中的能效与面积效率尚需结合精度、工作负载及测量条件核对。

来源:OpenReview · State space models · openreview.net