语言模型微调中基于贝叶斯优化的模型融合

基于摘要分析。本文研究预训练语言模型微调中的超参数与检查点选择问题，提出通过多目标贝叶斯优化同时优化目标评价指标和损失的模型融合方法，并引入整合贝叶斯优化过程的两阶段超参数选择流程。 核心机制：模型融合在参数空间中组合多个模型。作者观察到，预训练语言模型微调时的损失景观与评价指标景观存在较大差异，因此不只依赖损失选择模型，而是将损失与目标指标共同纳入融合优化。摘要未说明融合权重的参数化方式、多目标优化的具体策略、两阶段流程各自的搜索变量，以及候选模型是否来自同一微调轨迹。 结果与证据边界：作者报告，该方法在多个下游任务上带来明显性能改善，但摘要未提供任务名称、数据集、评价指标、数值、数据划分或对照基线，不能据此判断收益幅度与适用范围。实验协议、消融及统计信息尚未验证；复现还需核对模型兼容条件、评价数据的使用方式、贝叶斯优化预算及总计算成本。 平台推测（待验证）：其可迁移假设是，EEG 解码模型微调也可能出现训练损失与目标评价指标不一致，此时可尝试复用参数空间融合和多目标贝叶斯优化。该路径依赖可融合的兼容模型及足够稳定的验证反馈，需将语言任务评价替换为明确的 EEG 任务指标。低信噪比、被试差异、通道配置变化和小验证集可能造成搜索反馈不稳定，且不同模型的参数未必适合直接融合。一个可检验的小实验是在固定 Cross-subject 划分与相同搜索预算下，比较验证损失选检查点、目标指标选检查点和该融合策略，并在独立测试被试上评估。上述迁移并非原论文已验证的结果；已有 EEG 相关工作尚未检索确认。