跳到正文
OpenReview · State space models· Natalie Maus; Zhiyuan Jerry Lin; Maximilian Balandat; Eytan Bakshy·· 2023-01-01精选AI 评分74

联合复合潜在空间贝叶斯优化

Joint Composite Latent Space Bayesian Optimization

AI 导读

基于摘要分析。本文研究高维复合结构黑盒函数的样本高效优化,提出 Joint Composite Latent Space Bayesian Optimization(JoCo):联合训练神经网络编码器与概率模型,将高维输入和中间输出压缩为潜在表示,再在压缩表示上进行 Bayesian Optimization(BO)。原论文面向通用黑盒优化,摘要列举生成式 AI、分子设计和机器人等相关场景,并非 EEG 或 BCI 方法研究。 核心机制是利用复合函数 f=g∘h 的观测结构:每次评估输入 x 时,不仅获得最终结果 f(x),还获得中间输出 h(x)。这些中间观测可为概率建模提供额外信息,但高维 h(x) 会增加既有方法的建模难度。JoCo 的主要思路是联合学习输入与中间输出的潜在表示及概率模型,以自适应压缩缓解这一问题;具体模型结构、训练目标、采集函数及优化流程尚未验证。 作者报告,JoCo 在多种模拟与真实问题的高维 BO 评估中优于其他先进方法。摘要未提供任务清单、评估预算、对照方法、指标或具体数值,因而尚不能判断优势幅度及适用边界;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG/BCI 系统的参数优化能够在每次评估时同时返回高维信号特征与最终任务效用,JoCo 的中间输出建模机制可能具有参考价值。该假设依赖可重复评估的复合结构,以及中间表示对目标效用的预测能力;可考虑复用联合表示学习与概率建模思路,但需适配 EEG 的通道结构、噪声及跨被试差异。低信噪比、小样本或非平稳性可能使潜在压缩丢失有效信息,并影响概率模型的不确定性估计。一个可检验的小实验是在固定被试内、相同评估预算与数据划分下,对照仅使用最终效用的 BO 与同时利用中间 EEG 特征的 JoCo,比较优化轨迹和重复运行的稳定性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其联合压缩输入与中间输出、利用复合函数结构进行 Bayesian Optimization 的机制;作者报告的性能优势及其对 EEG/BCI 优化任务的适用性仍需分别验证。

来源:OpenReview · State space models · openreview.net