跳到正文
OpenReview · State space models·· 27 天前精选AI 评分78

预测空间中的正交集成:多样性、不确定性与校准

Orthogonal Ensembles in Prediction Space: Diversity, Uncertainty, and Calibration

AI 导读

本文研究集成成员在预测空间中的显式多样性约束是否能改善预测可靠性,采用作用于中心化、归一化成员 logits 的 Gram 惩罚,并与监督任务损失联合优化。基于摘要分析,其主要贡献是刻画该约束的几何边界,并通过耦合与非耦合集成的对照,区分预测平均的收益与额外多样性约束的效果。 理论上,作者将该惩罚与有效维度联系起来,推导集成中心化施加的秩约束;同时构造达到中心化下界、却产生相同类别概率的成员。这一构造说明,logit 空间的多样性并不必然对应类别概率的差异,也不能单独作为预测可靠性的保证。具体惩罚公式与构造条件尚待全文核对。 实验覆盖四个分类数据集、五种骨干网络,共计40次耦合与非耦合运行。作者报告,在全部设置中,两种条件下的集成 Accuracy 均高于各自成员的平均 Accuracy;但在20个设置中,耦合仅在6个设置提高 Accuracy,平均差为 −0.0972 个 Accuracy 百分点,对适当评分规则指标与校准的影响也不一致。摘要还提到耦合强度、预测熵和聚合规则实验,以及展示不确定性与共享预测偏差并存的脑龄案例;这些内容不构成 EEG 或 BCI 有效性的证据。数据集名称、划分协议、消融及统计信息尚未验证。 平台推测(待验证):该机制可用于检验 EEG 分类集成中“成员输出几何差异是否带来可靠性收益”的假设,可复用 logit 惩罚与耦合/非耦合对照,但需适配 EEG 输入模型和严格的跨被试划分。低信噪比、小数据及共享被试偏差可能使成员几何分离而错误仍高度相关。一个小规模可证伪实验是固定模型、训练预算与聚合规则,仅改变耦合强度,同时比较跨被试 Accuracy、概率评分与校准,而不以正交程度替代效果判断。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读之处在于用理论构造和耦合/非耦合对照区分 logit 几何多样性、集成平均收益与预测可靠性,提醒不能仅凭成员正交性判断不确定性质量。

来源:OpenReview · State space models · openreview.net