跳到正文
OpenReview · State space models· Sophie Steger; Christian Knoll; Bernhard Klein; Holger Fröning; Franz Pernkopf·· 21 天前精选AI 评分74

通过排斥式末层集成实现不确定性预测的函数空间多样性

Function Space Diversity for Uncertainty Prediction via Repulsive Last-Layer Ensembles

AI 导读

基于摘要分析。本文研究如何以较低计算和内存开销实现函数空间贝叶斯推断,并将其用于大型及预训练网络的不确定性估计。作者提出排斥式末层集成,以单个多头网络替代用于表示粒子的完整深度集成,同时探讨在哪些输入上约束粒子预测多样性更合适。 核心机制是函数空间中的粒子优化:通过不同粒子的预测差异形成多样性,而非仅依赖网络参数差异。作者指出,函数空间表述对网络参数化的限制较少,但仍要求模型具有足够的表达灵活性。摘要未给出排斥项、损失函数、粒子更新公式或具体多头结构,这些实现细节尚未验证。 作者报告,在训练数据上强制预测多样性可能导致欠拟合;采用破坏标签语义的数据增强,或无标签分布外数据,则可改善预测多样性与不确定性估计。作者还报告,该方法以较小的额外参数和计算成本接入预训练网络,可用于不确定性感知微调,并在区分 aleatoric uncertainty 与 epistemic uncertainty、分布外检测和分布偏移下的不确定性校准方面取得竞争性结果。摘要未提供数据集、指标数值、对照基线及资源测量条件,实验协议、消融及统计信息尚未验证。 平台推测(待验证):其机制可能对应 EEG 解码中跨被试、跨会话分布偏移下的置信度可靠性问题。假设可复用预训练特征提取器与多头末层,但需针对 EEG 改造用于施加排斥约束的输入构造,并验证所谓破坏标签语义的增强是否只是引入非生理伪迹。低信噪比、通道差异和小样本可能使多个头共享同一特征偏差,限制对认知不确定性的刻画。一个可检验的小实验是在固定 EEG 骨干、相同数据划分及微调条件下,对比普通末层集成与排斥式末层集成,并比较训练样本和无标签偏移样本作为排斥输入时的解码表现、校准与开销。上述迁移尚无本文证据支持,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其通过多头末层与函数空间排斥机制降低不确定性估计开销的实现,尤其是施加预测多样性的输入选择如何影响欠拟合、校准与分布外检测;摘要中的竞争性结果仍需全文协议支持。

来源:OpenReview · State space models · openreview.net