连接函数空间中的变分推断与随机梯度 MCMC
Bridging the Gap between Variational Inference and Stochastic Gradient MCMC in Function Space
基于摘要分析。本文研究 Bayesian neural networks 的函数空间后验推断,提出交替结合 functional variational inference(fVI)与 functional Markov Chain Monte Carlo(fMCMC)的混合方法,旨在兼顾变分推断的计算效率与采样方法的后验逼近能力。 原问题是参数空间推断难以指定有意义的先验、深层模型可能出现病态现象,以及多模态后验难以处理。函数空间方法直接对模型所表示的函数进行后验推断,并引入更具信息性的函数先验。摘要将 fVI 的优势概括为计算高效、局限为分布假设较强;将 fMCMC 的优势概括为渐近精确、局限为高维下混合缓慢。所提方法通过连接机制依次组合二者,形成交替逼近过程,并从函数空间 Wasserstein 梯度流角度提供理论论证。连接机制的具体形式、先验构造、更新规则及理论成立条件尚未验证。 作者报告,在若干基准任务上,该方法相较参数空间及函数空间的 VI、MCMC,在预测准确性与不确定性量化方面有所改善。摘要未提供任务名称、数据集、数据划分、具体指标或数值,因此不能量化收益,也不能判断不同方法在相同计算预算下的表现;实验协议、消融及统计信息尚未验证。 平台推测(待验证):该机制可能用于探索 EEG 解码中的预测不确定性,但原文主要研究对象是通用 Bayesian neural networks,并非 EEG 或 BCI。迁移假设是:若能为 EEG 解码输出构造合理的函数先验,交替变分与采样更新可能改善后验逼近;可复用的是混合推断思路,需要改造的是 EEG 输入结构、函数先验及任务似然。低信噪比、小样本和跨被试分布变化可能使先验失配,采样成本也可能限制实用性。可在固定模型、数据划分及计算预算的单一 EEG 任务上,对比 fVI、fMCMC 与混合方法的分类表现和校准误差,检验这一假设。已有 EEG 相关工作尚未检索确认。
值得关注其通过函数空间 Wasserstein 梯度流连接 fVI 与 fMCMC 的理论机制,但摘要所述预测与不确定性量化收益仍需结合具体基准、计算预算和评估协议核对。
来源:OpenReview · State space models · openreview.net