AMP：具备异构性感知能力的模型并行策略自动搜索

基于摘要分析。本文研究大模型训练中模型并行策略依赖分布式系统专家设计的问题，提出 AMP 框架，自动寻找适配模型架构与集群配置的执行策略。主要贡献是将模型与硬件环境的异构性纳入成本模型，以支持层间负载不均的模型以及加速器和通信带宽不同的集群。 机制上，AMP 先确定有效的模型并行策略空间，再利用成本模型高效搜索高性能策略。其研究对象是分布式训练的执行效率，而非模型预测性能或神经信号解码方法。摘要未披露策略空间的具体组成、成本模型形式、搜索算法及系统实现细节，这些内容尚未验证。 作者报告，在所评估的常用模型与公有云集群配置上，AMP 找到的策略在典型集群中可达到专家调优策略的性能；在异构集群和具有异构架构的模型两类评估条件下，相较所比较的最先进模型并行系统，吞吐量分别达到 1.54 倍和 1.77 倍。摘要未提供模型名称、集群规格、具体基线、吞吐量计量口径及搜索开销，实验协议、消融及统计信息尚未验证，不能据此推断所有训练环境都会获得同等收益。 平台推测（待验证）：若 EEG 基础模型训练确实受到多设备负载不均或通信带宽差异限制，AMP 的异构性感知成本建模与策略搜索可能具有系统层面的复用价值；需适配实际模型算子、序列长度、设备内存及通信配置。该假设不涉及 EEG 解码有效性：小数据训练或较小模型可能无法摊薄策略搜索与通信开销，低信噪比、跨被试及通道差异也不会因并行策略优化而自动解决。可在固定模型、数据划分和训练预算下，对比 AMP 与人工配置的吞吐量、峰值显存及搜索耗时，同时核对训练结果是否一致。相关 EEG 应用尚未检索确认。