LlMBO：低维贝叶斯优化微调LLM

该研究面向可训练参数极少的 LLM 微调，提出 Large language Model Bayesian Optimization（LlMBO），利用低维参数空间使全局优化变得可行，以贝叶斯优化替代梯度式局部搜索。基于摘要分析，未取得论文全文。 研究背景是 Morris 等人的 TinyLoRA：摘要转述该工作使用少于 10 个可训练参数获得了 Accuracy 改善，而 LoRA 类方法通常需要约 10,000 个或更多参数；这些数字描述的是前序工作的微调参数规模，并非本论文已核实的实验配置。LlMBO 的出发点是，参数空间大幅缩小后，不必继续沿用面向大规模模型训练的梯度优化方式。 作者将 LlMBO 描述为样本高效、无梯度、内存开销较低，并可在设备间无需同步地并行运行。其关键特点是能够直接优化 greedy-decoding Accuracy，而不是使用策略梯度方法。摘要未说明贝叶斯优化的代理模型、采集函数、初始化策略、搜索范围，以及候选参数的评估成本，这些机制细节尚未验证。 作者报告，在数学 benchmark suite 上针对多种模型开展的微调实验中，LlMBO 的微调收益达到或超过 GRPO，同时使用较少的计算与内存。摘要未提供模型名称、benchmark 名称、数据划分、具体分数或资源消耗数字，因此不能量化优势，也不能判断不同实验设置下的稳定性。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 模型的适配也能压缩为极少的连续参数，可检验类似的无梯度优化思路；这不意味着 LLM 数学任务上的结果已适用于 BCI。可复用的是低维搜索与候选评估框架，需改造的是 EEG 适配参数化和验证目标。低信噪比、小验证集及跨被试差异可能使目标估计不稳定，并增加验证集过拟合风险。一个可证伪的小实验是在固定 EEG 编码器与同一低维适配模块下，以相同候选评估预算比较贝叶斯优化和梯度优化，严格分离适配验证集与测试集，核对 Cross-subject Accuracy、计算时间及峰值内存。已有 EEG 相关工作尚未检索确认。