跳到正文
OpenReview · State space models· Mohanad Odema; Hyoukjun Kwon; Mohammad Abdullah Al Faruque·· 2023-12-31精选AI 评分70

异构 Chiplet 上多模型推理的层间调度空间探索

Inter-Layer Scheduling Space Exploration for Multi-model Inference on Heterogeneous Chiplets

AI 导读

基于摘要分析。本文研究多模型工作负载带来的计算需求,提出采用异构 chiplet 构成的多芯片模块(MCM)加速器,并开发调度框架,综合考虑硬件异构性与跨 chiplet 流水线。主要贡献属于推理系统与硬件调度,而非 State space models 方法或 EEG/BCI 算法。 技术机制:框架围绕异构 MCM 加速器探索层间调度,以协调不同 chiplet 的计算与流水执行。摘要未说明调度空间的具体表示、搜索算法、优化目标、模型映射规则或通信成本建模,相关实现与开销尚未验证。 结果与对照:作者报告,在使用 GPT-2 和 ResNet-50 的 4-chiplet 系统实验中,相对于采用优化 output-stationary 数据流的单片加速器,吞吐量和能效分别最高达到 2.2 倍与 1.9 倍。摘要未明确两个模型是否并发运行,也未给出收益与各模型的对应关系;硬件资源匹配、批大小、精度、功耗统计边界及实验协议尚未验证,因此这些倍数不能直接外推到其他部署场景。 复现核对重点包括异构 chiplet 配置、互连带宽与延迟、片上存储约束、调度搜索成本,以及单片基线与 MCM 系统的资源可比性。摘要未提供 EEG/BCI 工作负载或明确的神经信号方法对应关系,不能据此认定其对 BCI 推理有效;已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其面向异构 chiplet 的多模型推理调度机制,以及相对单片加速器的吞吐量与能效评估,但收益对硬件配置、通信开销和工作负载的依赖尚需全文核对。

来源:OpenReview · State space models · openreview.net