语言模型微调中通过贝叶斯优化进行模型融合

基于摘要分析。本文研究预训练语言模型微调中的超参数选择与检查点选择问题，提出以多目标 Bayesian optimization 引导参数空间中的模型融合，同时优化目标任务指标和损失，并通过两阶段流程整合超参数选择。 核心机制是将微调过程中损失与任务指标的优化景观不一致作为设计依据，不仅依据损失选择模型，而是同时考虑实际任务指标。作者进一步将 Bayesian optimization 过程整合为两阶段程序，用于处理超参数选择。摘要未说明候选模型的构造方式、融合参数化、两个阶段的具体分工、代理模型及采集函数，也未给出目标指标的具体定义。 作者报告，该方法在多种下游任务上取得明显性能改善；但摘要未列出任务、数据集、划分、对照基线或数值，无法据此判断收益幅度、稳定性及额外计算成本。实验协议、消融及统计信息尚未验证，复现还需核对候选检查点、参数兼容条件、搜索预算与验证集使用方式。 平台推测（待验证）：该机制可能适用于 EEG 预训练模型微调中损失与目标指标不一致、检查点难以选择的情形，但原文研究对象是语言模型，尚无 EEG/BCI 有效性证据。可复用的是多目标搜索与融合选择流程，需改造的是候选模型兼容条件、验证协议和任务指标。低信噪比、被试差异、通道配置变化及小规模验证集可能使搜索结果不稳定。一个可检验的小实验是：在固定 Cross-subject 划分与搜索预算下，对同一 EEG 模型的兼容检查点，比较单检查点选择、简单参数平均与该多目标融合方法，并考察目标指标和多次运行波动。相关 EEG 工作尚未检索确认。