跳到正文
arXiv · 架构与算子· Yizhou Ma; Wenbo Wu; Xikun Jiang; Zhuoqin Yang; Luis-Daniel Ibáñez·· 1 天前精选AI 评分77

面向模型市场的成本感知 Mixture-of-Experts 协调

Cost-Aware Mixture-of-Experts Coordination for Model Markets

AI 导读

基于摘要分析。该研究针对模型市场通常以单个模型为不可分割交易和选择单位、难以利用异构专家互补性的问题,提出 MoE Market,将 Mixture-of-Experts(MoE)从模型内部的学习架构扩展为市场层面的协调机制,由经纪方通过门控网络组织多个专家并提供组合模型服务。 机制方面,作者形式化描述市场参与者、服务流程和专家成本结构,以兼顾预测效用与异构执行成本的福利目标为基础,推导成本感知门控机制及市场感知训练目标。收益分配采用成本调整规则,依据专家实际参与情况与执行成本分配剩余收益。作者报告建立了该规则的预算平衡、参与单调性和成本敏感性等基本理论性质;具体目标函数、门控形式、训练流程及理论成立条件尚未验证。 实验采用独立训练后冻结的神经网络与树模型专家,并以延迟推导执行成本,在十五个表格和图像基准上使用五个随机种子评估。作者报告,MoE Market 在全部十五个数据集上取得最高平均福利,且各数据集的平均期望成本均低于 Standard MoE,同时保持有竞争力的预测性能。摘要未给出数据集名称、划分、预测指标、福利数值或不确定性,因此这些结论不能直接解释为预测性能全面领先。作者还报告,收益分配对专家参与及成本呈系统性敏感,其计算开销显著低于精确 Shapley 分配;具体比较规模与计时条件尚未验证。 平台推测(待验证):其成本感知协调机制可能用于按资源预算组合异构 EEG 解码专家,但原实验不构成 BCI 有效性证据。该假设依赖可比较的专家输出、可靠的效用监督与执行成本测量;可复用门控和成本目标,需改造专家输入、跨被试校准及延迟测量。低信噪比、通道差异和小数据可能使门控误判专家效用。一个可检验的小实验是在固定跨被试划分、相同冻结专家与相同硬件条件下,比较成本感知门控和 Standard MoE 的 Accuracy—延迟权衡。相关 EEG 工作尚未检索确认;全文实验协议、消融及统计信息尚未验证。

阅读价值

值得核对其如何将异构专家的预测效用、执行成本与收益分配统一到 MoE 协调机制中,但摘要中的福利优势仍需结合目标定义、成本测量及对照协议验证。

来源:arXiv · 架构与算子 · arxiv.org