FlashRT-PAI：快速 kernel 不等于快速流水线——面向物理 AI 推理的优化

基于摘要分析。本文面向物理 AI 中 vision-language-action（VLA）、video-action（VA）及 world action models（WAMs）的实时单批次推理，提出低延迟推理引擎 FLASHRT-PAI。核心贡献是通过模型与硬件流水线协同设计，减少 kernel 启动、算子间数据搬运及连续决策间的重复计算，而非仅加速单个算子。 系统包含三项机制：深度 kernel 融合与启动重叠，用于减少算子边界和启动间隙；以 execution contract 描述流水线阶段 DAG、更新频率及具名缓冲区，从而支持跨决策状态复用与选择性刷新；以 execution-state capsules 支持持久流水线状态的快速快照、恢复与分叉。此外，系统通过以一致性和延迟为门槛的 kernel 替换，加速未经修改的 PyTorch 模型。 作者报告，评估覆盖 RTX 5090 上的六种策略及 Jetson AGX Thor 上的四种策略；在匹配的 16-bit 精度下，相对官方编译执行路径加速 1.3–3.7 倍。流水线协同设计与降精度结合后，相对官方 eager 实现加速 3.38–12.66 倍，这一结果不能视为纯系统优化的同精度收益。在 LIBERO-10 上，作者报告四位精度 pi0.5 在 Thor 与 RTX 5090 上的成功率分别为 94.04% 和 93.32%，测得的官方 FP16 参考值为 92.4%；试验次数、统计不确定性及更详细的协议尚未验证。作者称系统已开源并通过 Hugging Face Kernel Hub 分发，需主动启用的 pi0.5 kernels 已被 LeRobot 框架采用。 平台推测（待验证）：跨决策状态复用可能对应流式 EEG 推理中的重叠窗口重复计算，但需要明确缓存所依赖的历史数据、更新周期和因果边界；可复用的是状态管理与执行调度机制，信号处理和模型缓存规则需另行适配。低信噪比、状态漂移及通道变化可能使缓存失效或选择性刷新损害性能。可先在固定 EEG 流式模型上，以同精度、同输入比较完整重算与状态复用的输出一致性、端到端延迟及任务指标。已有 EEG 相关工作尚未检索确认，原领域结果不构成 BCI 有效性证据。全文中的实验协议、消融及统计信息尚未验证。