跳到正文
OpenReview · State space models· Takuya Akiba; Makoto Shing; Yujin Tang; Qi Sun; David Ha·· 2024-01-01精选AI 评分77

模型合并方案的进化优化

Evolutionary Optimization of Model Merging Recipes

AI 导读

基于摘要分析。本文研究如何自动发现有效的基础模型合并方案,以减少现有模型合并对人工直觉和领域知识的依赖。作者提出使用进化算法组合多种开源模型,同时优化参数空间与数据流空间,并以日语数学推理 LLM 和面向日本文化内容的 VLM 展示跨领域模型组合的潜力。 机制上,搜索对象不仅涉及模型权重,也涉及数据流层面的组合方式;但摘要未提供候选方案的编码、进化算子、适应度函数或数据流搜索的具体定义。作者称该方法不需要大量额外训练数据或计算,但搜索预算、评估数据需求及相对成本尚未验证,不能据此理解为无需数据或计算。 作者报告,生成的日语数学 LLM 在多项既有日语 LLM 基准上达到其所称的最先进表现,并超过部分参数规模更大的模型,尽管未针对这些任务显式训练;生成的日语 VLM 在日本文化特定内容描述方面优于此前的日语 VLM。摘要未列出基准名称、具体分数、模型规模或对照配置,因此这些结论目前只能作为作者报告,实验协议、消融及统计信息尚未验证。摘要亦未提供可核对的权重与代码发布信息。 平台推测(待验证):可检验的迁移假设是,将进化搜索用于具有兼容结构或输入输出接口的 EEG 预训练模型组合,以探索不同模型所学表征能否互补;这不是本文已验证的 EEG/BCI 贡献。可复用部分是合并方案的搜索框架,需改造输入通道对齐、模型接口和适应度评估。原方法依赖可组合的源模型与候选评估信号,具体监督需求和规模尚未明确;EEG 的低信噪比、跨被试差异、通道不一致及小验证集可能导致合并失效或搜索过拟合。一个小规模验证可固定兼容源模型与搜索预算,仅在训练被试内部选择合并方案,再在独立留出被试上与单模型及固定合并方案比较。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其同时搜索参数空间与数据流空间的模型合并机制,但摘要不足以核对搜索成本、评估协议及其对 EEG 基础模型的适用性。

来源:OpenReview · State space models · openreview.net