利用学习轨迹构建函数空间贝叶斯神经网络的自适应先验
Adaptive Priors from Learning Trajectories for Function-Space Bayesian Neural Networks
基于摘要分析。本文研究高维数据上的函数空间贝叶斯神经网络(BNNs)如何构造合适先验,提出利用深度神经网络学习轨迹中的权重统计,确定显式先验的均值与方差函数,并让先验表达随输入变化的不确定性。 方法背景是 Tractable Function-space Variational Inference(T-FVI):通过估计随机先验函数与后验之间的函数空间 Kullback-Leibler(KL)散度,使其可用随机梯度下降(SGD)优化。作者指出,Gaussian Process(GP)先验存在可扩展性挑战,而深度神经网络的权重设定与有意义的函数空间先验之间缺乏直接对应。本文将深度神经网络视为 Bayesian last-layer models,以获得显式均值与方差函数,再以学习轨迹中的权重统计确定其参数。主要研究对象是通用机器学习的不确定性估计,而非神经信号解码。 作者报告,在图像分类、迁移学习及 UCI 回归任务中,不确定性估计有所改善。摘要未提供具体数据集、数据划分、对照基线、指标或提升幅度;学习轨迹采样方式、先验构造与训练数据的关系、计算开销、实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设该机制能刻画 EEG 解码模型随输入变化的预测不确定性,可探索其与跨被试分布变化及小数据过度自信问题的对应关系。可复用部分是末层贝叶斯建模和轨迹统计先验,需改造 EEG 编码器及通道输入处理;原实验的数据结构、监督设置与规模尚待全文核对。低信噪比、通道差异或有限被试数据可能使权重轨迹不稳定,且先验不一定能表征分布外风险。一个小规模检验是在固定 Cross-subject 运动想象划分和同一编码器下,对比轨迹先验与固定先验,评估分类 Accuracy 及概率校准,而不预设收益。已有 EEG 相关工作尚未检索确认。
值得阅读的具体原因是利用学习轨迹中的权重统计构造显式函数空间先验,为高维任务中先验设计与不确定性估计提供可核对的方法路径;其 EEG/BCI 适用性尚未验证。
来源:OpenReview · State space models · openreview.net