跳到正文
OpenReview · State space models· Sanghoon Kang; Donghyeon Han; Juhyoung Lee; Dongseok Im; Sangyeob Kim; Soyeon Kim; Junha Ryu; Hoi-Jun Yoo·· 2021-12-31精选AI 评分82

GANPU:采用推测式双稀疏利用机制的高能效 GAN 多 DNN 训练处理器

GANPU: An Energy-Efficient Multi-DNN Training Processor for GANs With Speculative Dual-Sparsity Exploitation

AI 导读

基于摘要分析。本文研究资源与电池受限移动设备上的 GAN 本地训练,提出专用多 DNN 训练处理器 GANPU,通过自适应工作负载调度、双稀疏利用和轻量级零值位置推测,提高计算吞吐量与能效;其主要贡献是硬件架构与算法协同设计,而非新的 GAN 生成方法或 BCI 解码算法。 GAN 中不同网络和层的运算特性变化较大,使计算核心及带宽分配难以统一优化。为此,作者提出自适应时空工作负载复用,以提高单个 GAN 内多个 DNN 的硬件利用率;双稀疏架构利用输入与输出特征中的零值,跳过冗余计算,面向推理与训练中的 ReLU 稀疏性。另提出 exponent-only ReLU speculation(EORS),配合轻量级处理单元(PE),在推理时估计输出特征零值的位置。摘要未给出 EORS 的具体判定规则、误差处理或训练阶段适用方式,不能将其推断为所有训练计算的通用跳过机制。 作者报告,在 65-nm 工艺制造的芯片上,16-bit 浮点计算能效达到 75.68 TFLOPS/W,为其所比较当时最先进方案的 4.85 倍。摘要未说明对应 GAN、工作负载、稀疏度、吞吐量计算口径及对照硬件条件,因此该数值不能直接外推到其他模型或完整端侧训练系统。实验协议、消融及统计信息尚未验证,硬件实现与复现条件也需查阅全文。 本地训练可减少向服务器发送用户数据的需求,但这不等于消除所有隐私风险。材料未提供 EEG/BCI 任务、信号处理路径或适配评估,不据此生成神经信号性能结论或迁移实验建议。

阅读价值

值得关注其面向 GAN 多网络训练的负载调度与双稀疏硬件机制;作者报告了芯片能效,但对照口径、推测误差及端侧实际训练开销仍需全文核验,尚不能据此认定其适用于 EEG/BCI。

来源:OpenReview · State space models · openreview.net