ATFormer：通过跨设备迁移学习构建深度学习张量程序的学习式性能模型

基于摘要分析。本文研究深度学习张量算子在特定硬件上的编译优化问题，提出学习式性能模型 ATFormer，以注意力启发模块捕捉完整调度空间中的全局与长程依赖，预测优化后算子的性能，并通过预训练参数与迁移学习适应不同工作负载和硬件。 其主要研究对象是张量程序的调度与实现性能，而非神经信号解码。编译优化需要在较大的设计空间中选择代码生成与调优配置；摘要将现有性能模型的预测精度及跨硬件迁移能力列为待解决问题。ATFormer 的机制路径是学习调度空间中的依赖关系，为算子实现选择提供性能预测。输入表示、性能监督信号、训练损失、模型结构及候选调度搜索方式尚未验证，不能仅凭“注意力启发”将其认定为标准 Transformer 或 State Space Model。 作者报告，相较已有方法，ATFormer 能以较少投入预测张量算子的最优实现，并在现代 DNN 基准上降低推理时间；作者还报告，预训练参数可通过迁移学习快速适应不同工作负载与硬件。摘要未提供基准名称、设备型号、对照方法、预测误差、加速幅度或迁移数据量，实验协议、消融及统计信息尚未验证，因此尚不能量化收益或判断适用边界。 平台推测（待验证）：其与 EEG/BCI 的潜在联系限于部署层面的算子优化，而非提高解码准确率。假设目标 EEG 模型的延迟主要受可调度张量算子限制，可复用性能预测与迁移流程，但需为目标算子和设备适配调度表示并采集性能监督数据。小模型、短时间窗、数据传输开销或硬件运行波动可能使算子优化无法转化为端到端收益；低信噪比、被试差异和通道差异也不是该方法直接解决的问题。一个可检验的小实验是固定 EEG 模型及解码协议，在目标设备上比较默认编译、原有调优流程与 ATFormer 辅助调优的端到端延迟及调优成本，同时核对数值输出一致性。已有 EEG 相关应用尚未检索确认。