跳到正文
OpenReview · State space models· Francesco D'Angelo; Christian Henning·· 2021-01-01精选AI 评分80

基于不确定性的分布外检测需要合适的函数空间先验

Uncertainty-based out-of-distribution detection requires suitable function space priors

AI 导读

基于摘要分析。本文研究 Bayesian neural networks(BNNs)的认知不确定性是否足以支持分布外(OOD)检测,核心贡献是指出:即使采用正确的贝叶斯推断,神经网络诱导的函数空间先验也不必然产生适合 OOD 检测的预测不确定性。 作者从无限宽神经网络入手,利用其与 Gaussian processes 的对应关系实现精确贝叶斯推断,从而避免将问题归因于近似推断。作者报告,常见架构所对应的核会诱导出不能反映输入数据分布的预测不确定性,因此不适合据此识别 OOD 输入;这一极限情形下的 OOD 行为与相应有限宽网络的表现一致。摘要未提供具体架构、数据集、检测指标或定量结果,实验协议、消融及统计信息尚未验证。 在改进方向上,作者指出,可通过权重空间先验编码有用的函数空间性质,但目前这种约束仅能施加于预先指定的定义域子集,不能天然延伸至 OOD 数据。作者进一步提出,泛化能力与 OOD 检测能力之间可能存在权衡,因而实践中不宜直接假定 BNNs 的不确定性就是可靠的异常判据;这不是对所有 BNNs 或所有先验的统一否定。 平台推测(待验证):若将该问题用于 EEG 跨被试或跨会话异常检测,可检验的假设是,贝叶斯预测不确定性未必能区分任务相关分布变化与伪迹、通道变化等干扰。可复用的是函数空间先验与不确定性评估框架,需改造的是 EEG 输入表示、核或先验约束。小规模实验可固定 EEG 表示与数据划分,对比不同核或先验在域内分类和留出会话 OOD 检测上的表现,并分别报告两类指标;低信噪比、小样本及被试差异可能使不确定性主要响应非任务因素。该迁移尚无本文证据支持,已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读之处在于作者利用可精确推断的 Gaussian processes 对应关系,区分贝叶斯推断近似误差与函数空间先验不适配对 OOD 检测的影响,为审视不确定性作为异常判据提供了具体切入点。

来源:OpenReview · State space models · openreview.net