跳到正文
OpenReview · State space models· Seung Yul Lee; Hyunseung Lee; Jihoon Hong; SangLyul Cho; Jae W. Lee·· 2024-01-01精选AI 评分76

VGA:面向可扩展长序列模型推理的硬件加速器

VGA: Hardware Accelerator for Scalable Long Sequence Model Inference

AI 导读

基于摘要分析。本文研究 SSM 长序列模型在硬件上的推理效率问题,提出 Vandermonde matrix Generating Accelerator(VGA),以专用复数计算单元和参数即时生成机制,提高 FFT 全局卷积的面积与功耗效率;其主要贡献是硬件架构设计,而非新的 EEG 解码算法。 机制与问题:自注意力的计算复杂度随序列长度呈二次增长,SSM 全局卷积可借助 FFT 实现次二次复杂度,但算法复杂度降低不必然带来 GPU 执行效率提升。摘要指出,这类计算存在受存储带宽限制、计算单元利用率很低的阶段。VGA 引入 Complex number Compute Units(CCUs),以充分利用片上 SRAM 带宽,并在运行时生成参数,减少所需 SRAM 容量。参数生成的具体方式、数值精度及硬件资源配置尚未验证。 结果与边界:作者报告,在执行 H3 的全局卷积算子时,VGA 相对 NVIDIA A100 GPU 的面积效率和功耗效率分别达到 76 倍与 48 倍。该结果针对指定算子,不等同于整个 H3 模型的延迟、吞吐或能耗改善;序列长度、批量大小、工艺与功耗测量条件、基线优化、消融及统计信息尚未验证。 平台推测(待验证):若长时段 EEG 推理采用相同的 FFT 全局卷积路径,VGA 的复数计算与参数即时生成机制可能具有部署参考价值;原问题依赖的是长序列卷积及其硬件访存模式,而非特定 EEG 监督标签。可复用的是算子加速思路,需改造或核对的是多通道数据布局、数值精度与实时流式处理。短窗口、小批量或少通道输入可能不足以发挥硬件优势,低信噪比、跨被试差异与小数据条件下的解码效果也不能由算子效率推导。可检验的小实验是在固定 EEG 模型与数据划分下,对比同一卷积算子的软硬件实现,测量不同序列长度和批量下的延迟、能耗及数值误差,再检查解码指标是否保持。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其针对 FFT 全局卷积中低计算利用率与存储带宽瓶颈的专用硬件设计,但作者报告的优势限定于 H3 全局卷积算子,不能直接视为端到端模型或 BCI 部署收益。

来源:OpenReview · State space models · openreview.net