跳到正文
OpenReview · State space models· Azim Ahmadzadeh; Dustin J. Kempton; Petrus C. Martens; Rafal A. Angryk·· 2023-12-31精选AI 评分75

Contingency Space:用于分类评估的半度量空间

Contingency Space: A Semimetric Space for Classification Evaluation

AI 导读

基于摘要分析。本文研究监督学习分类评价指标的表达与比较问题,提出有界半度量空间 Contingency Space,旨在为不同性能指标提供统一表示,并支持类别不平衡敏感性分析、训练过程分析和代价敏感评价;主要研究对象是分类评估框架,而非状态空间模型或 BCI 解码模型。 作者将现有评价指标的局限概括为一维性、缺乏上下文、不够直观、难以比较、二分类限制及难以定制。在 Contingency Space 中,各指标对应一个曲面,可用于可视化比较;作者以指标曲面对类别不平衡比例的变形敏感程度为依据,提出 Imbalance Sensitivity,用于量化指标对类别分布偏斜的敏感性。模型在该空间中表示为一个点,训练过程则通过 Learning Path 进行定性与定量分析。作者还利用空间中的半度量提出 Tau,称其具有代价敏感和 Imbalance Agnostic 特性,并报告该框架也可处理多分类问题。摘要说明各概念通过约定定义建立,并配有实际示例和可视化,但未提供公式、具体数据集或定量比较结果;数学性质、实验协议、消融及统计信息尚未验证。 平台推测(待验证):该框架可能用于审视 EEG 分类中类别不平衡与错误代价不对称造成的评价差异,其迁移路径是作用于分类预测及评估结果,而非直接建模 EEG 信号。可复用部分包括指标曲面、Imbalance Sensitivity 和 Learning Path;需要结合任务确定错误代价,并核对多分类定义及其对不同类别比例的适用条件。低信噪比、被试差异和小样本可能使估计结果波动,统一几何表示本身不能消除这些问题。一个可检验的小实验是在固定被试划分与分类器的 EEG 任务上,按预设比例重采样测试集,对比 Accuracy、Balanced Accuracy 与 Tau 的变化及模型排序稳定性,同时报告抽样不确定性。已有 EEG 相关工作尚未检索确认,原领域的评价性质不等于已证实的 BCI 收益。

阅读价值

值得阅读的具体原因是其将分类指标、类别不平衡敏感性与训练轨迹置于统一几何表示中,便于审视评价指标的适用条件,但数学定义及 EEG 场景中的实际收益尚未验证。

来源:OpenReview · State space models · openreview.net