层次贝叶斯深度学习方法的理论与实践进展

基于摘要分析。本文研究层次贝叶斯深度学习中的不确定性量化，针对神经网络参数与先验超参数强依赖导致常规 MCMC 联合推断困难的问题，提出 multilevel particle marginal Metropolis-Hastings（MLPMMH），并给出面向更大规模应用的近似方法 S-MLPMMH。 MLPMMH 对超参数采用伪边际推断，对给定超参数的网络参数推断，则在不同网络宽度截断层级间使用耦合 sequential Monte Carlo（SMC）。层级由具有宽度依赖衰减的 trace-class neural network（TNN）先验构造，其动机来自作者对已训练网络参数可压缩结构的经验观察。这里的多层级机制服务于贝叶斯推断的计算效率，并非网络深度设计。 作者报告，在标准多层级耦合假设成立时，MLPMMH 可用 O(ε⁻²) 的期望计算成本达到 O(ε²) 的均方误差（MSE），并在一个贝叶斯回归问题上验证了预测速率。该结论具有明确的假设前提，不能直接外推为任意深度网络上的复杂度保证。 S-MLPMMH 使用基于 PCA 的层级与可扩展贝叶斯蒙特卡洛替代精确采样组件。作者报告，其在 MNIST 实验中获得有竞争力的预测表现与不确定性量化，并利用近似方案的并行结构；摘要未提供具体指标、对照结果或数据划分。作者提供了公开软件链接，但代码运行条件、实验协议、消融及统计信息尚未验证，精确方法的理论保证是否适用于该近似也需查阅全文。 平台推测（待验证）：若小样本 EEG 解码模型的参数也具有可利用的可压缩结构，该层级推断机制可能用于评估预测不确定性；这只是迁移假设。可复用的是超参数推断与层级耦合思路，需适配 EEG 模型、似然及先验；低信噪比、通道变化和跨被试分布偏移可能破坏压缩结构或不确定性校准。可先在固定的被试内划分与同一网络上，对比该方法和常规 MCMC 的计算成本、预测性能及校准表现，再评估跨被试场景。已有 EEG 相关工作尚未检索确认。