跳到正文
OpenReview · State space models· Natalie Maus; Zhiyuan Jerry Lin; Maximilian Balandat; Eytan Bakshy·· 2024-05-02精选AI 评分74

联合复合潜在空间贝叶斯优化

Joint Composite Latent Space Bayesian Optimization

AI 导读

基于摘要分析。本文研究具有复合结构 f = g ∘ h 的高维黑箱优化:每次评估输入 x 时,既能获得最终目标 f(x),也能观测中间输出 h(x)。作者提出 Joint Composite Latent Space Bayesian Optimization(JoCo),通过联合训练神经网络编码器与概率模型,自适应压缩高维输入和中间输出,并在潜在表示上实施 Bayesian Optimization(BO)。 核心机制是利用中间输出提供的额外信息,而非仅建立输入到最终目标的黑箱映射。摘要指出,已有复合结构 BO 方法能够受益于中间观测,但难以处理高维 h(x);JoCo 的贡献在于联合学习压缩表示与概率模型,以应对这一瓶颈。其前提是优化过程中能够取得中间输出,具体编码器结构、概率模型类型、训练目标及采集函数尚未验证。 作者报告,JoCo 在多种模拟和现实问题的高维 BO 评估中优于其他先进方法。摘要未提供具体任务、预算、对照方法、指标或数值,因此无法判断收益大小、稳定性及计算成本;实验协议、消融及统计信息尚未验证。生成式 AI、分子设计和机器人在摘要中被列为相关应用背景,不能据此认定均为已完成的实验任务。 平台推测(待验证):若 EEG/BCI 参数优化能在每轮评估中同时获得高维信号特征与最终性能指标,JoCo 的中间输出建模机制可能具有借鉴价值;这一假设依赖可重复获取的中间观测及足够的优化预算,需要改造输入编码、EEG 特征表示与噪声建模。低信噪比、跨被试漂移及小样本条件可能使压缩表示不稳定或丢失目标相关信息。可先在固定数据划分和相同评估预算下,比较仅使用最终指标的 BO、加入中间特征的 JoCo,以及移除中间特征的对照,检验其是否降低达到同一目标性能所需的评估次数。上述并非已验证的 BCI 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

JoCo 将可观测的高维中间输出纳入联合潜在空间建模,值得关注其如何利用复合函数结构提高黑箱优化的样本效率,但具体优势及适用边界尚需核对全文实验。

来源:OpenReview · State space models · openreview.net