跳到正文
OpenReview · Representation learning· Michael Kirchhof; Bálint Mucsányi; Seong Joon Oh; Enkelejda Kasneci·· 2023-01-01精选AI 评分78

URL:面向可迁移不确定性估计的表征学习基准

URL: A Representation Learning Benchmark for Transferable Uncertainty Estimates

AI 导读

基于摘要分析。该研究关注预训练模型迁移到新数据集时,不确定性估计能否与表征一起迁移,提出 Uncertainty-aware Representation Learning(URL)基准。其贡献是除评估表征的迁移能力外,还通过一个新指标衡量不确定性估计的零样本迁移能力;摘要未提供该指标的定义与计算方式。 作者使用 URL 评估了在 ImageNet 上预训练、迁移到八个下游数据集的十一种不确定性估计方法。作者报告,在这一评估背景下,关注表征本身不确定性或直接估计预测风险的方法,优于基于上游类别概率的方法。摘要未列出下游数据集名称、具体分数、数据划分及各方法的训练与迁移设置,因此不能据此量化优势或判断不同协议之间的可比性。 作者认为,可迁移的不确定性量化仍是开放挑战,但其研究结果提示,这一目标不一定与传统表征学习目标冲突。材料提供了代码地址;代码覆盖范围、运行依赖、实验协议、消融及统计信息尚未验证。 平台推测(待验证):其评估思路可能用于检验 EEG 表征在跨被试或跨数据集迁移时,能否识别高风险预测,而不只是维持分类性能。该假设对应的是不确定性评估协议的迁移,并非已证实的 BCI 算法改进。可复用部分是将表征质量与不确定性迁移分开考察的框架;需改造部分包括 EEG 编码器、任务风险定义及被试与通道划分。低信噪比、通道差异和小数据可能使不确定性更多反映采集噪声,而非预测错误风险。一个可检验的小实验是在固定跨被试划分与相同编码器下,对照表征不确定性和源任务类别概率的不确定性,检查其对目标被试错误预测的识别能力,并明确目标标签仅用于评估。已有 EEG 相关工作尚未检索确认。

阅读价值

URL 将表征迁移能力与不确定性估计的零样本迁移能力分开评估,值得核对其新指标及对照协议,但其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net