通过排斥式最后一层集成实现不确定性预测的函数空间多样性
Function Space Diversity for Uncertainty Prediction via Repulsive Last-Layer Ensembles
基于摘要分析。本文研究如何以粒子优化近似函数空间中的 Bayesian inference,并使不确定性估计适用于大型及预训练神经网络。核心贡献是调整施加预测多样性的输入样本,并以单个多头网络构建 repulsive last-layer ensemble,替代由多个完整网络组成的 deep ensembles。 机制上,各粒子通过在指定输入上的预测差异维持函数空间多样性,因此输入选择会影响这种排斥约束的作用。作者报告,在训练数据上强制预测多样性可能导致欠拟合;使用破坏标签语义的数据增强或无标签分布外数据,则可改善预测多样性与不确定性估计。这不等同于任意分布外样本或任意增强都有效,具体构造及适用范围尚需核对。 作者利用函数空间表述对网络参数化的灵活性,以共享网络、多预测头表示粒子,而非为每个粒子配置完整网络。作者报告,该设计仅增加少量参数与计算,可接入预训练网络进行不确定性感知微调。摘要未提供具体数据集、模型规模、指标、收益数值或开销测量;粒子更新、排斥项形式、骨干是否冻结、实验协议、消融及统计信息尚未验证。 平台推测(待验证):该机制可能适用于预训练 EEG 模型的不确定性估计,尤其是跨被试或跨会话分布变化下的错误识别。可复用模块是共享骨干与排斥式预测头,需改造的是多样性输入的构造和 EEG 增强策略。低信噪比、通道差异及小数据条件可能使预测头主要响应伪迹,或因过强排斥损害任务判别;原领域结果不构成 BCI 有效性证据。一个可检验的小实验是在固定跨被试划分、相同骨干与微调条件下,对比单预测头、无排斥多头及排斥式最后一层集成,同时评估任务性能、校准与错误检测能力,并记录额外开销。相关 EEG 工作尚未检索确认。
值得阅读的具体原因是作者将函数空间中的排斥式粒子优化与共享骨干的最后一层集成结合,并讨论施加预测多样性的输入选择如何影响欠拟合与不确定性估计;其低额外开销及 EEG 迁移效果仍需验证。
来源:OpenReview · State space models · openreview.net