DIFFLET：面向 AWS Trainium 上 Diffusion Transformer 模型的快速推理引擎

基于摘要分析。该研究面向 AWS Trainium2 上图像与视频扩散模型的推理服务，提出 Difflet 引擎，以统一编译后端、按注意力头划分的跨核心计算、逐去噪步缓存决策和模型进程常驻，协调固定形状提前编译与模型流水线、提示词长度及缓存行为变化之间的矛盾。 核心机制包括：五种模型流水线共享一个编译后端；joint attention 按注意力头分配至不同核心；主机控制器在每个去噪步骤决定执行去噪器还是复用先前输出。一个小型探测程序在设备端计算缓存信号，每步仅返回一个数值；常驻模型进程则使各程序跨请求保持加载状态。摘要未说明缓存信号的具体定义、阈值策略及输出质量约束。 作者报告，在五个图像与视频模型家族上，相比同一框架中使用 PyTorch/XLA attention 的实现，融合注意力使去噪步骤加速 1.2–4.3 倍；在 32.8k 视觉 token 的测试条件下，该注意力实现在所比较实现中是唯一能够完成编译的方案。作者另报告，在五个模型中的四个上，相比每次生成都从已预热的文件缓存重新加载权重的独立运行方式，常驻服务快 1.5–3.4 倍。两组结果分别对应去噪步骤与服务运行对照，不应合并解释为端到端统一加速比。 具体模型名称、精度设置、请求与批处理配置、生成质量变化、实验协议、消融及统计信息尚未验证；代码可用性与复现所需的软件版本也未由所给材料确认。本文主要贡献属于特定加速器上的扩散模型推理系统优化，摘要未提供 EEG/BCI 验证，不据此推断神经信号建模收益。