跳到正文
OpenReview · State space models· Xudong Wang; Li Lyna Zhang; Jiahang Xu; Quanlu Zhang; Yujing Wang; Yuqing Yang; Ningxin Zheng; Ting Cao; Mao Yang·· 2023-01-01精选AI 评分82

SpaceEvo:面向高效 INT8 推理的硬件友好搜索空间设计

SpaceEvo: Hardware-Friendly Search Space Design for Efficient INT8 Inference

AI 导读

基于摘要分析。本文研究通用神经网络的 INT8 量化部署效率,提出 SpaceEvo:针对目标硬件自动设计量化友好的神经架构搜索(NAS)空间,而非仅以低 FLOPs 为目标搜索模型。其主要评估对象是 ImageNet 图像分类模型,并非 EEG/BCI 或状态空间模型。 核心机制是先搜索硬件偏好的算子与配置,再据此构建搜索空间。作者指出,既有搜索空间中的算子和通道宽度等配置具有不同的量化执行效率,因此低 FLOPs 模型仍可能在真实设备上出现较高 INT8 延迟。SpaceEvo 使用 Q-T score 衡量候选搜索空间的量化友好程度,并在所发现的空间上训练 quantized-for-all supernet,使搜索得到的模型能够直接部署,无需额外重训练或量化。Q-T score 的具体定义、搜索过程及 supernet 训练细节尚未验证。 作者报告,在 ImageNet 上、相同延迟约束下,搜索得到的 SEQnet 相比既有 CNN 的 Accuracy 最高提升 10.1%;摘要未明确该数值是相对增幅还是百分点差值。作者还报告,在真实设备实验中,相较手工设计的搜索空间,在相同 Accuracy 下最高实现 2.5× 加速。具体设备、数据划分、延迟测量条件、对照配置、消融及统计信息尚未验证,不能据此推断其他任务的收益。 平台推测(待验证):若 EEG 解码模型需要在边缘设备上执行 INT8 推理,该方法可能帮助处理算子选择与实际延迟不匹配的问题。可复用的是硬件感知搜索空间设计思路;需改造任务模型、输入通道与时间维度配置,以及量化训练流程。EEG 的低信噪比、跨被试差异和小数据条件可能使量化误差或 supernet 训练不稳定抵消速度收益。一个可检验的小实验是在固定 EEG 任务、目标设备及相同数据划分下,比较手工搜索空间与硬件友好搜索空间所得模型的 Accuracy 和实测 INT8 延迟,并保持相同训练预算。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其以目标硬件实测效率指导 INT8 搜索空间设计的机制,尤其是低 FLOPs 不等于低延迟这一部署问题;对 EEG/BCI 的价值仍需独立验证。

来源:OpenReview · State space models · openreview.net