AMP：自动寻找具有异构性感知能力的模型并行策略

基于摘要分析。本文研究大模型分布式训练中模型并行策略依赖专家设计的问题，提出 AMP 框架，自动寻找适配模型架构与集群配置的执行策略。其主要贡献是同时考虑模型层的不均衡性，以及加速器和通信带宽的异构性，而非提出新的任务模型或 EEG 解码算法。 机制上，AMP 先确定有效的模型并行策略空间，再利用反映模型与集群规格异构性的代价模型，高效搜索高性能策略。摘要强调，该框架面向由不均衡层组成的复杂模型，以及加速器和带宽差异较大的集群；策略空间的具体约束、代价模型形式、搜索算法及代价预测误差尚未验证。 作者报告，在常用模型与公有云集群配置上，AMP 找到的策略可达到与专家调优策略相当的表现；在异构集群和异构模型架构两类评估中，相比所对照的先进模型并行系统，吞吐量分别达到 1.54 倍和 1.77 倍。摘要未给出模型名称、硬件配置、基线名称、批大小或计时范围，因此这些结果不能直接外推到其他训练环境；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 基础模型训练确实受到模型层负载不均或异构设备通信的限制，AMP 的策略搜索与异构代价建模可能作为训练系统模块复用。需按目标模型的计算、显存和通信特征重新标定代价模型；这一路径针对资源调度，不直接解决 EEG 低信噪比、跨被试差异或解码准确率问题。小数据、较小模型或通信开销占比过高时，搜索成本与额外同步可能抵消收益。可在固定 EEG 模型、数据划分和训练设置下，对比 AMP 与人工配置策略的吞吐量、显存及搜索开销，并核对训练结果一致性。已有 EEG 相关应用尚未检索确认，代码与复现条件尚未验证。