跳到正文
OpenReview · State space models· Yu Zhou; Xingyu Wu; Jibin Wu; Liang Feng; Kay Chen Tan·· 2024-01-01精选AI 评分74

HM3:面向预训练模型的分层多目标模型合并

HM3: Hierarchical Multi-Objective Model Merging for Pretrained Models

AI 导读

基于摘要分析。HM3 研究如何在架构空间中合并多个大型预训练模型,而不局限于相同架构下的参数合并;核心贡献是将合并过程建模为强化学习任务,并引入多目标优化,为不同任务偏好提供定制化合并方案。 方法上,作者通过离线采样权重向量训练策略网络与价值网络,再将其用于合并策略的在线优化;多目标部分旨在学习最优模型的 Pareto 前沿。摘要未说明权重向量的具体含义、强化学习的状态与动作定义、奖励设计、层兼容性处理及“分层”结构的实现,相关机制尚未验证。摘要将避免使用原始训练数据和进一步训练列为模型合并的一般优势,但 HM3 本身包含策略网络与价值网络的训练,不能将其概括为整个流程完全无需训练。 作者报告,在文本翻译、数学推理和代码生成等任务上的实验支持框架的有效性与相对优势,但摘要未提供模型名称、数据集、评价指标、对照基线或具体数值;实验协议、消融及统计信息尚未验证。代码仅承诺在评审结束后公开,当前材料不足以确认其可用性或完整复现条件。 原论文的主要研究对象是大型预训练模型合并,并非 EEG 或 BCI。平台推测(待验证):若存在任务互补且模块接口可对齐的 EEG 预训练模型,架构空间搜索与多目标偏好建模可能用于探索跨任务合并;需改造输入通道接口、可合并模块及评价目标。低信噪比、跨被试差异、通道不一致和小数据下不稳定的搜索反馈均可能导致负迁移。一个可证伪的小实验是在固定 Cross-subject 划分与相同搜索预算下,对比架构空间合并、参数合并及原始单模型,检查预先指定的多任务指标是否形成更优 Pareto 前沿。该假设不构成已验证的 BCI 收益,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将架构空间模型合并建模为强化学习任务、并以 Pareto 前沿表达多任务偏好的方法,但具体收益、搜索成本与层兼容性处理仍需全文核验。

来源:OpenReview · State space models · openreview.net