用于 BNN 中适定函数空间变分推断的正则化 KL 散度
Regularized KL-Divergence for well-defined function space variational inference in BNNs
基于摘要分析。该研究关注贝叶斯神经网络(BNN)的函数空间变分推断:直接在网络表示的函数上设置先验,有望绕开权重空间中信息性先验难以构造的问题,但标准优化目标可能不适定。作者提出在广义变分推断框架下使用正则化 KL 散度,以处理这一问题。 核心机制:BNN 的不确定性估计依赖先验选择。作者指出,对许多有研究价值的函数先验,标准证据下界(ELBO)会成为负无穷,因此不能直接沿用通常的函数空间变分推断目标。本文的贡献重点是调整推断框架与散度,而非提出新的网络结构。正则化 KL 的具体形式、适用先验与理论保证条件、计算近似及优化流程,尚需全文核对。 结果方面,作者报告,在合成数据和小型真实数据集上,该方法能够准确近似真实 Gaussian process 后验;在回归和分布外检测任务中,相较采用函数空间先验或权重空间先验的 BNN 基线,其不确定性估计具有竞争力。摘要未给出数据集名称、划分、指标、误差范围或计算成本,实验协议、消融及统计信息尚未验证,不能据此判断具体优势幅度。 平台推测(待验证):其与 EEG 的潜在对应点是小数据条件下的先验设计及分布偏移时的不确定性估计,而非直接改善信号解码。可考虑复用推断目标,但需为 EEG 输入结构设计合适的函数先验,并适配解码任务与似然;低信噪比、通道变化及跨被试差异可能导致先验失配,使原任务中的效果无法迁移。一个可检验的假设是:固定 EEG 特征、BNN 架构、先验与数据划分,仅替换标准与正则化推断目标,比较跨被试留出条件下的预测表现、校准和分布外检测能力。已有 EEG 相关工作尚未检索确认。
该研究直接处理 BNN 函数空间变分推断中 ELBO 可能为负无穷的适定性问题,值得核对其正则化 KL 散度的理论条件及不确定性评估协议,但摘要尚不足以确认其对 EEG 的适用性。
来源:OpenReview · State space models · openreview.net