跳到正文
OpenReview · Representation learning· Hyeong-Ju Kang·· 2019-01-01精选AI 评分77

用于卷积神经网络推理的短浮点表示

Short floating-point representation for convolutional neural network inference

AI 导读

基于摘要分析。本文面向计算机视觉 CNN 的 ASIC 或 FPGA 推理实现,提出短浮点表示,探索相对于常用定点表示降低计算逻辑与存储面积的可能性;研究对象是数值表示与硬件实现,而非 EEG/BCI 解码算法。 该表示以常规浮点格式为基础,缩短总位宽,并不支持 NaN、无穷大等复杂特殊情况。其核心机制是利用指数表示缩短乘法逻辑的操作数,从而降低计算逻辑复杂度;同时通过缩短数值表示总长度减少 SRAM 面积。摘要未提供指数与尾数的位宽分配、舍入及溢出处理规则,这些实现条件尚未验证。 作者报告:在所评估、深度最高达 152 层的 CNN 上,8-bit 总位宽表示无需重新训练,top-5 Accuracy 下降小于 1 个百分点;作者还报告 ASIC 实现面积减少超过 60%。摘要未明确给出模型名称、数据集、精度参照配置及面积对照实现,因此不能将这些收益推广到其他网络或硬件,也不能据此推断功耗和延迟收益。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 解码系统采用 CNN,该数值格式可能作为部署阶段的推理表示复用,而非改变解码模型或训练目标。迁移依赖模型权重与激活的数值范围,以及硬件对该格式的支持;指数与尾数配置需要针对 EEG 模型重新评估。低信噪比、跨被试分布变化和小数据训练下的数值敏感性可能使精度损失增大。一个可证伪的小实验是在固定 EEG 数据划分和同一训练权重下,对照原始精度、8-bit 定点与该短浮点表示,保持不重新训练,分别测量解码 Accuracy 及同一硬件实现条件下的面积和延迟。已有 EEG 相关工作尚未检索确认。

阅读价值

该研究以无需重新训练的短浮点表示探索 CNN 推理精度与 ASIC 面积的权衡,值得核对其数值格式、硬件对照条件及面积收益来源,但其对 EEG/BCI 推理的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net