C-Transformer:面向大语言模型的高能效同构 DNN-Transformer/SNN-Transformer 处理器
C-Transformer: An Energy-Efficient Homogeneous DNN-Transformer/SNN-Transformer Processor for Large Language Models
基于摘要分析。该研究针对语言模型的外部存储器瓶颈,提出 C-Transformer 专用处理器,通过统一 DNN-Transformer 与 Spiking-Transformer 的计算硬件、优化脉冲域处理及权重生成来降低能耗;主要研究对象是语言模型芯片,而非 EEG 解码或 BCI 算法。 处理器包含三个关键模块:同构 DNN-Transformer/Spiking-Transformer 核心(HDSC),利用混合乘法/累加单元(HMAU)提高硬件利用率;输出脉冲推测单元(OSSU),提升脉冲域处理能效;隐式权重生成单元(IWGU),结合扩展符号压缩(ESC)缓解外部存储器瓶颈。摘要未提供权重生成细节、脉冲表示转换方式及其对任务质量的影响,这些机制尚需全文验证。 作者报告,芯片采用 Samsung 28-nm 1P8M CMOS 工艺,工作电压为 0.7–1.1 V,最高频率为 200 MHz,支持语言建模、翻译与摘要任务。在 GPT-2、mT5、T5 和 FairSeq MachineTranslation(FSMT)等模型上,相对摘要所述基线,计算能耗为其 0.21–0.33 倍,外部存储器访问能耗为其 0.37–0.41 倍。作者还报告,相比此前最佳方案,在参数量为其 2.1 倍时能耗降低 13.6%;另一相近参数规模对比中,能耗降低 63.8%。上述比较的具体基线、精度、模型配置与测量边界尚未验证。 作者报告所测语言模型任务延迟均低于 1 s,其中 FSMT 为 0.09 s、GPT-2 为 0.656 s;输入与输出长度、批大小及任务质量约束未在摘要中说明,因此不能直接外推至任意生成场景。复现需核对硬件实现、权重压缩与生成流程、DNN/SNN 执行配置,以及端到端能耗和延迟测量协议。摘要未提供 EEG/BCI 验证,相关工作尚未检索确认;目前不足以形成具体的 BCI 迁移结论。
值得关注其通过同构 DNN/SNN 计算核心与隐式权重生成协同降低语言模型计算及访存能耗的硬件机制,但基线配置、任务质量与能耗测量边界尚需全文核对,不能据此认定对 BCI 有效。
来源:OpenReview · State space models · openreview.net