用于 CNN 优化的解析表征与设计空间探索
Analytical Characterization and Design Space Exploration for Optimization of CNNs
基于摘要分析。本文研究多核 CPU 上 CNN 的数据搬移瓶颈,提出解析建模方法,用于寻找循环级优化配置,目标是在庞大的配置空间中优化执行性能;研究对象是计算与内存访问优化,而非新的 CNN 学习架构或状态空间模型。 核心机制是利用循环分块(loop tiling)与循环置换(loop permutation)改善内存层次中的数据复用、减少数据搬移。摘要指出,最佳配置的搜索空间非常庞大,但未披露解析模型的具体表达式、硬件约束、配置筛选流程或搜索成本。该方法依赖计算循环与目标硬件的内存访问特征,不以新增监督信号或扩大训练数据为核心。 作者报告,在多核 CPU 的 CNN 实验中,该方法取得了与先进计算库及基于自动调优的优化器相当或更好的性能。摘要未提供具体 CPU、CNN 工作负载、对照名称、性能指标及数值,因此尚不能判断收益来自哪些算子或配置,也不能将其解读为预测 Accuracy 的提升。实验协议、消融及统计信息尚未验证;复现需核对实现、硬件环境、线程配置、计时方式及调优开销。 平台推测(待验证):若 EEG/BCI 系统的 CNN 推理确实受多核 CPU 数据搬移限制,循环优化可能用于减少计算开销,而非直接改善低信噪比或跨被试泛化。可复用的是循环配置建模与筛选思路,需针对 EEG 输入尺寸、通道布局及实际算子重新适配;短序列、小批量或较小模型可能因优化开销和并行成本而收益有限。一个可检验的小实验是在固定 EEG CNN、权重和输入下,对比默认实现与优化实现在同一 CPU 上的推理延迟,并验证输出数值一致性。相关 EEG 工作尚未检索确认。
值得阅读其如何用解析建模缩小 CNN 循环优化的配置搜索空间,但相对现有库与自动调优器的性能优势仍需结合硬件、工作负载及对照协议核对。
来源:OpenReview · State space models · openreview.net