跳到正文
OpenReview · Representation learning· Tim Z. Xiao; Weiyang Liu; Robert Bamler·· 2024-01-01精选AI 评分74

通过消除置换对称性构建贝叶斯神经网络的紧凑表示

A Compact Representation for Bayesian Neural Networks By Removing Permutation Symmetry

AI 导读

基于摘要分析。该研究针对贝叶斯神经网络(BNNs)中置换对称性妨碍权重样本统计解释的问题,利用 rebasin 对齐 Hamiltonian Monte Carlo(HMC)样本,构建紧凑的权重不确定性表示。研究对象是通用神经网络的贝叶斯推断,并非 EEG 或 BCI 方法。 核心机制:神经网络中存在功能等价但权重排列不同的表示,直接计算这些样本的逐权重均值与方差可能失去明确意义。作者提出以换位次数度量量化置换的作用,并报告 rebasin 可将 HMC 样本整理为具有显式逐权重不确定性估计的紧凑表示,从而在表示层面连接采样方法与变分推断。 作者报告,该表示支持在权重空间直接比较不同采样方法及变分推断得到的 BNNs,并可利用 HMC 不确定性估计,对未采用显式贝叶斯框架训练的网络进行高效剪枝。摘要未给出数据集、网络结构、采样与对齐开销、压缩程度、剪枝性能及对照指标;实验协议、消融及统计信息尚未验证。逐权重不确定性如何对应预测不确定性,以及紧凑表示是否保留原样本的预测分布,也需查阅全文核对。 平台推测(待验证):若小型 EEG 分类网络的多组权重样本主要因置换而难以比较,该对齐机制可能有助于分析权重稳定性,但不能据此推断其改善 BCI 分类或置信度校准。可复用的是样本对齐与权重统计流程,需适配目标网络的置换约束,并评估 HMC 成本。低信噪比、小数据和跨被试差异可能引入置换以外的后验多模态,使紧凑表示失真。一个可证伪的小实验是在固定 EEG 特征和相同数据划分下,对小型分类网络比较原始 HMC 样本、未对齐统计表示及 rebasin 对齐表示,检查预测分布差异、校准与剪枝后的性能变化。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其利用 rebasin 对齐置换等价的 HMC 权重样本、构建可解释权重不确定性摘要的机制,但摘要不足以核实压缩表示对预测分布的保真程度及剪枝收益。

来源:OpenReview · Representation learning · openreview.net