跳到正文
OpenReview · State space models· Wenyu Wang; Zheyi Fan; Szu Hui Ng·· 2024-01-01精选AI 评分74

面向模型重训练的基于轨迹的多目标超参数优化

Trajectory-Based Multi-Objective Hyperparameter Optimization for Model Retraining

AI 导读

基于摘要分析。本文研究模型重训练中的多目标超参数优化:同一超参数配置在不同训练轮次产生一条目标空间轨迹,传统优化过程可能未充分利用其中的权衡信息。作者将训练轮数作为额外决策变量,提出基于轨迹的多目标贝叶斯优化算法,以联合考虑超参数配置与训练时长。 方法包含两个核心机制:一是通过采集函数刻画某一超参数配置的预测轨迹所带来的改进;二是采用多目标早停机制,决定何时终止该轨迹,以提高训练轮次的利用效率。其研究重点不是改变被训练模型的架构,而是利用逐轮性能信息改进搜索与停止决策。摘要未给出轨迹预测模型、采集函数的具体数学形式或早停判据。 作者报告,在多种合成模拟及超参数调优基准上,该算法相较所比较的先进多目标优化器,能够找到更好的目标权衡,并提高调优效率。具体基准名称、目标定义、预算分配、对照配置、结果数值、实验协议、消融及统计信息尚未验证,不能据此判断优势的幅度或适用范围。 平台推测(待验证):若 EEG 解码任务能在固定验证划分上获得逐轮、多目标且可比较的评估结果,该机制可能用于协调解码性能与训练成本。可复用的是轨迹级采集与早停思路,需改造的是 EEG 任务目标、验证划分及噪声处理;低信噪比、小数据与跨被试差异可能使轨迹波动加剧,导致过早停止或错误排序。一个可检验的小实验是在固定的跨被试 EEG 划分和相同总训练预算下,对比轨迹方法与仅使用最终轮次信息的多目标优化,检验其能否稳定改善性能—成本权衡。该迁移是假设,并非本文已验证结果;已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将训练轮数纳入多目标优化决策、利用整条性能轨迹设计采集函数与早停的机制,但摘要中的效率与权衡优势仍需结合基准协议和计算预算核对。

来源:OpenReview · State space models · openreview.net