跳到正文
OpenReview · State space models· Annabelle Sujun Tang; Christopher Priebe; Rohan Mahapatra; Lianhui Qin; Hadi Esmaeilzadeh·· 2025-09-19精选AI 评分71

REASONING COMPILER:面向高效模型服务的 LLM 引导优化

REASONING COMPILER: LLM-Guided Optimizations for Efficient Model Serving

AI 导读

基于摘要分析。本文研究大规模模型服务中的编译优化问题,提出 REASONING COMPILER,将编译变换选择建模为序列化、上下文感知的决策过程,通过无需再训练的 LLM 与结构化 Monte Carlo tree search(MCTS)协同搜索优化方案。其主要对象是模型服务的编译效率,而非 EEG 信号建模或 BCI 解码。 机制上,LLM 根据当前程序状态、硬件信息及已积累的性能反馈提出编译变换,MCTS 利用这些提案平衡探索与利用,以应对变换空间庞大且变换之间高度依赖的问题。相较摘要所述的随机搜索,核心思路是将程序结构与搜索历史纳入候选生成,而非仅增加试验次数。 作者报告,相较领先的神经网络编译器,该方法以明显更少的采样获得显著加速;但摘要未提供具体加速比、采样次数、工作负载、硬件、基线名称及成本统计口径,尚不能判断收益是否覆盖 LLM 调用、搜索和性能测量开销。实验协议、消融及统计信息尚未验证,复现还需核对编译变换集合、LLM 配置、搜索预算与计时方式。 平台推测(待验证):若用于 EEG/BCI 模型部署,可复用的是编译候选生成与搜索框架,而非信号表征或解码方法;需适配具体模型计算图、目标设备及实时延迟约束。该路径依赖可编译程序、硬件描述与可靠性能反馈,而非 EEG 标签监督。低信噪比和被试差异不会因编译优化而自动改善,通道数量、输入形状或小批量推理也可能改变实际加速效果。一个可检验的小实验是在固定 EEG 模型、输入形状和设备上,以相同搜索预算比较该框架与既有编译优化,分别记录输出一致性、端到端延迟及总优化成本。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其以无需再训练的 LLM 提案结合 MCTS 搜索编译变换的机制,但作者所称加速与采样效率优势仍需结合硬件、工作负载及搜索成本核验。

来源:OpenReview · State space models · openreview.net