FSP-Laplace:用于贝叶斯深度学习中 Laplace approximation 的函数空间先验
FSP-Laplace: Function-Space Priors for the Laplace Approximation in Bayesian Deep Learning
基于摘要分析。本文研究贝叶斯深度学习中 Laplace approximation 的先验设计问题,提出 FSP-Laplace,以函数空间先验替代常用的权重空间各向同性高斯先验,使规律性、周期性等结构知识能够直接进入模型的不确定性建模。 核心机制:作者指出,权重空间缺乏可解释性且受计算可行性约束,常用先验可能随网络深度增加产生病态行为。由于无限维函数空间不存在 Lebesgue 密度,方法将训练重述为:在限制于神经网络可表示函数集合的 Gaussian process(GP)先验下,寻找后验测度的 weak mode。模型线性化后,训练目标诱导出负对数后验密度,再对其进行 Laplace approximation,并利用无矩阵线性代数方法提高计算可扩展性。该设计试图结合显式函数先验与深度网络自身的隐式归纳偏置。 结果与证据边界:作者报告,该方法在先验知识丰富的科学推断任务中获得改进,同时在黑盒监督学习问题上保持竞争力。摘要未提供具体数据集、模型规模、对照方法或指标数值,无法据此判断增益幅度及计算成本;实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设 EEG 目标函数存在可用 GP 核表达的平滑性或周期性,该机制可能用于检验结构先验能否改善小数据条件下的预测与不确定性校准;原领域结果并不构成 BCI 有效性证据。可复用部分是函数空间先验与 Laplace 推断框架,需改造核函数、输入表示及跨被试差异建模。低信噪比、非平稳性及通道差异可能使先验失配,导致过度自信。一个小规模可证伪实验是在固定 EEG 数据划分和网络骨干下,对比各向同性权重先验与函数空间先验,同时评估任务性能、校准与计算开销。已有 EEG 相关工作尚未检索确认。
值得关注其通过函数空间 GP 先验表达规律性或周期性、再结合 Laplace approximation 估计认知不确定性的机制,但具体收益与 EEG 适用性尚需验证。
来源:OpenReview · State space models · openreview.net