面向贝叶斯神经网络的函数空间贝叶斯伪核心集
Function Space Bayesian Pseudocoreset for Bayesian Neural Networks
基于摘要分析。本文研究如何用紧凑的合成数据集替代大规模原始数据,以支持贝叶斯神经网络的可扩展推断;核心贡献是将贝叶斯伪核心集的后验近似与匹配从模型权重空间转移到函数空间。 传统方法通过最小化伪核心集条件后验与全数据条件后验之间的散度来构造伪核心集,但深度神经网络的高维权重使散度评估困难。本文在函数空间中构造伪核心集后验的变分近似,并与函数空间中的全数据后验匹配。作者认为,这一路径可绕开权重空间中部分可扩展性与多模态问题。摘要未给出具体散度、变分分布、函数评估位置、合成数据优化方式或全数据后验近似过程,尚不能据此判断实际计算成本。 作者报告,在所开展的多种模型架构实验中,该方法构造的伪核心集具有更好的不确定性量化与稳健性。摘要未提供数据集、任务、划分、基线、指标及数值,因此收益幅度、适用条件、消融及统计信息尚未验证。 平台推测(待验证):该机制可能对应 EEG 小数据场景中数据压缩与预测不确定性保留的需求,但原论文的研究对象是通用贝叶斯神经网络,并非 EEG/BCI。可复用部分是函数空间后验匹配框架;需改造部分包括 EEG 合成样本的时空约束及函数评估输入的选择。低信噪比、跨被试分布差异和通道配置变化可能使伪核心集偏向训练数据特征,损害未见被试上的校准。一个可证伪的小实验是:在固定 EEG 任务和跨被试划分下,仅用训练被试构造等规模伪核心集,与随机子集及权重空间方法比较预测表现和不确定性校准,并核对计算开销。已有 EEG 相关工作尚未检索确认。
值得关注其将后验匹配从权重空间转向函数空间的思路,可用于考察贝叶斯数据压缩中的不确定性保留;作者报告的稳健性收益及其对 EEG 的适用性仍需分别验证。
来源:OpenReview · State space models · openreview.net