跳到正文
OpenReview · State space models· Kyurae Kim; Qiang Fu; Yian Ma; Jacob R. Gardner; Trevor Campbell·· 2026-05-01精选AI 评分81

采用 Price's gradient 的随机梯度变分推断:从 Bures-Wasserstein 空间到参数空间

Stochastic Gradient Variational Inference with Price's Gradient Estimator from Bures-Wasserstein to Parameter Space

AI 导读

基于摘要分析。本文研究仅已知未归一化对数密度时的分布近似问题,比较高斯变分族下 Wasserstein VI(WVI)与 black-box VI(BBVI)的收敛保证。核心贡献是区分优化空间与梯度估计器的作用:作者报告,通过调整梯度估计器,两类方法可获得相同的、作者称为当前最优的迭代复杂度保证。 WVI 在测度空间(Bures-Wasserstein 空间)中优化,BBVI 则在参数空间中优化。此前,WVI 的收敛保证优于采用重参数化梯度的 BBVI,容易被解释为空间选择带来的收益。本文指出,这一差距主要源于 WVI 所用的 Price's gradient:该估计器与 Price's theorem 相关,利用目标对数密度的二阶信息,即 Hessian。作者称,BBVI 经过小幅修改也能使用这一估计器;反过来,WVI 也可采用仅需对数密度一阶梯度的重参数化梯度,以扩大适用范围。 作者报告,实证比较支持 Price's gradient 是性能改善的主要来源,但摘要未提供具体任务、指标、复杂度表达式或计算成本。理论成立所需的目标分布条件、Hessian 获取方式,以及按迭代次数衡量的收益能否转化为运行时间收益,均需全文核对;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 概率建模任务采用可微对数密度及高斯变分近似,可检验这一估计器选择是否改善后验推断,而非直接将其视为 EEG 解码方法。可复用部分是 VI 更新与梯度估计,需适配的是 EEG 观测模型和先验;低信噪比、小样本造成的弱可辨识性,以及高维参数的 Hessian 成本,可能限制收益。一个小规模可证伪实验是在同一 EEG 概率模型和数据划分上,固定变分族与初始化,比较两种估计器的目标函数收敛和运行时间。相关 EEG 工作尚未检索确认。

阅读价值

值得核对其如何将梯度估计器与优化空间的影响分离:作者将既有 WVI 收敛保证的优势归因于 Price's gradient,并给出 BBVI 可获得相同迭代复杂度保证的理论结果。

来源:OpenReview · State space models · openreview.net