ATFormer:面向深度学习张量程序、支持跨设备迁移学习的学习式性能模型
ATFormer: A Learned Performance Model with Transfer Learning Across Devices for Deep Learning Tensor Programs
基于摘要分析。本文研究深度学习张量程序的编译优化问题,提出 ATFormer,通过受注意力机制启发的模块预测优化后张量算子的执行性能,并利用预训练参数与迁移学习适应不同工作负载和硬件平台。其研究对象是算子调度与硬件执行效率,而非神经信号解码或 BCI 算法。 核心机制:编译优化需要在较大的调度设计空间内寻找高效实现,性能模型可用于指导候选实现的选择。ATFormer 尝试捕获完整调度空间中的全局与长程依赖,以改善性能预测及跨硬件迁移能力。摘要未说明调度表示、模块结构、训练目标、性能标签的采集方式或迁移时的参数更新策略,这些细节尚未验证。 结果与证据边界:作者报告,相较于现有先进方法,ATFormer 能在现代 DNN 基准上以较少投入预测张量算子的最优实现并降低推理时间;作者还报告,预训练参数支持对不同工作负载与硬件的快速适应。摘要未提供基准名称、设备型号、对照方法、预测误差、推理加速幅度或调优成本,因此暂不能量化其优势或判断适用范围。实验协议、消融及统计信息尚未验证。 与 BCI 的关系:平台推测(待验证),其潜在用途限于 EEG/BCI 深度学习模型的部署优化,不应解释为解码 Accuracy 的提升。是否适合低延迟、小批量推理,仍取决于目标设备、算子覆盖及调优开销;已有 EEG 相关应用尚未检索确认。复现需进一步核对实现可用性、编译与运行环境、测量协议以及跨设备迁移所需的数据量。
值得关注的是 ATFormer 对张量算子调度性能的学习式预测及跨硬件迁移机制,但预测精度、调优成本与实际推理收益仍需结合全文核对。
来源:OpenReview · State space models · openreview.net