跳到正文
OpenReview · State space models· Takuya Akiba; Makoto Shing; Yujin Tang; Qi Sun; David Ha·· 2025-01-01精选AI 评分79

模型合并配方的进化优化

Evolutionary optimization of model merging recipes

AI 导读

基于摘要分析。该研究面向 LLM 与视觉语言模型的低成本组合,提出用进化优化自动发现开源模型的合并配方,以减少传统模型合并对人工直觉和领域知识的依赖;主要贡献是同时在参数空间与数据流空间中优化模型组合,而非仅调整模型权重。 机制与创新:摘要明确提出两个优化空间,并展示跨领域合并的用途,例如组合日语能力与数学推理能力。其核心思路是利用已有模型的能力形成新模型,而不依赖大量额外训练数据或计算。具体的配方编码、进化算子、适应度函数、数据流组合方式及模型兼容条件尚未验证,不能据此认定其不使用训练数据或无需额外计算。 结果:作者报告,生成的日语数学 LLM 在多项既有日语 LLM 基准上达到最先进表现,并超过参数量明显更大的模型,尽管没有针对这些任务显式训练;作者还报告,生成的日语视觉语言模型在描述日本文化特定内容方面优于此前的日语视觉语言模型。摘要未提供具体基准名称、分数、模型规模、数据划分或对照配置,因此这些结论的适用范围与比较条件尚待核对。实验协议、消融及统计信息尚未验证;摘要提及向开源社区贡献模型,但权重、代码及复现条件尚未核实。 平台推测(待验证):假设多个 EEG 预训练模型具备可组合的结构与互补能力,这种自动配方搜索可能用于探索跨被试或跨数据集模型组合,但原文没有提供 EEG/BCI 验证。其适用性取决于模型结构、通道定义、输入表示及搜索评价数据的兼容性;低信噪比、被试差异与小规模验证集可能使搜索结果不稳定。当前材料不足以确定具体迁移方案,已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是将模型合并配方的选择转化为参数空间与数据流空间中的进化优化,但其计算成本、基线公平性及向 EEG 模型迁移的适用性尚未验证。

来源:OpenReview · State space models · openreview.net