通过排斥式末层集成实现不确定性预测的函数空间多样性

基于摘要分析。本文研究如何以较低计算和存储开销实现函数空间贝叶斯推断，并使其适用于大型及预训练网络。作者提出 repulsive last-layer ensemble，以单个多头网络表示粒子，并通过选择施加预测多样性约束的输入，改善不确定性估计。 核心机制是函数空间中的粒子优化：多样性体现在不同粒子对输入的预测，而非仅依赖参数差异。作者指出，多样性约束所使用的输入样本会显著影响性能；在训练数据上强制预测多样性可能导致欠拟合，而使用破坏标签语义的数据增强或无标签分布外数据，可改善预测多样性与不确定性估计。这里的破坏标签语义增强不能与通常保持标签的增强等同。 实现上，作者用单个多头网络替代表示粒子的完整深度集成，旨在仅增加少量参数与计算，并支持预训练网络的不确定性感知微调。摘要未给出具体排斥项、损失形式、头部结构或参数更新范围，不能据此认定主干是否冻结。 作者报告，该方法在主动学习、域外数据检测及分布偏移下的不确定性校准任务中取得有竞争力的结果，并能够区分偶然不确定性与认知不确定性，同时保持较低计算和内存需求。摘要未提供数据集、划分、对照基线、具体指标或资源测量条件；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 预训练表示足以支持多个预测头，该机制可能用于跨被试或跨会话的不确定性估计。可复用的是多头末层与预测多样性约束，需改造的是约束输入的构造：EEG 的低信噪比、通道差异及小数据条件可能使多样性反映噪声而非认知不确定性，破坏标签语义的增强也可能产生不具生理意义的信号。一个可检验的小实验是在固定跨被试划分和相同主干条件下，比较单头与排斥式末层集成的分类表现、校准及域外检测，并单独改变多样性约束输入的来源。已有 EEG 相关工作尚未检索确认。