跳到正文
OpenReview · State space models· Tigran Ramazyan; Mikhail Hushchyn; Denis Derkach·· 2024-10-16精选AI 评分73

在 Wasserstein 空间中利用生成模型进行黑箱函数全局优化

Global Optimisation of Black-Box Functions with Generative Models in the Wasserstein Space

AI 导读

基于摘要分析。研究针对随机、高维黑箱模拟器的全局优化问题,提出基于深度生成式代理模型与 Wasserstein 距离的不确定性估计,并将其用于不依赖特定后验的无梯度优化算法。主要研究对象是黑箱模拟器优化,而非 EEG 解码或 BCI 模型。 机制上,作者用深度生成式代理模型刻画整个参数空间中的黑箱响应,再利用该模型提供的信息构造 Wasserstein uncertainty,指导以整个参数空间上的 regret 最小化为目标的优化。摘要没有给出 Wasserstein 距离具体比较哪些分布、不确定性如何计算、代理模型训练目标及候选点选择规则,这些内容尚未验证。该方法依赖参数输入与黑箱响应的观测;响应采样方式、监督形式及所需数据规模也需查阅正文。 作者报告,在一系列测试中,该方法对黑箱函数形状及随机响应的变化,比采用深度高斯过程代理的 efficient global optimisation 等方法更稳健。摘要未提供测试函数、维度、评估预算、regret 数值或统计区间,因此不能据此量化优势,也不能确认优势在不同预算或高维条件下是否一致。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 BCI 系统存在可重复调用、但带有噪声的黑箱参数评估过程,例如以验证集表现评估解码器超参数,可假设复用生成式响应代理与 Wasserstein 不确定性来分配搜索预算;这不是直接的 EEG 表征学习方法。需改造参数编码、约束及评估接口,并区分训练随机性、低信噪比与被试差异造成的波动。小数据或跨被试分布变化可能使代理模型及不确定性估计失准。一个可检验的小实验是在固定 EEG 数据划分、相同搜索预算和重复评估规则下,对比该策略与深度高斯过程代理优化,检查最佳验证表现及搜索稳定性,最终仅在独立测试集评估所选配置。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是以 Wasserstein 距离构造生成式代理模型的不确定性估计,并将其用于随机黑箱的无梯度全局优化;其相对深度高斯过程代理的稳健性结论仍需结合完整实验协议核对。

来源:OpenReview · State space models · openreview.net