跳到正文
arXiv · 时序与音频基础模型· Hongyin Zhang; Mingyi Xiang; Rongzhao Chen; Yankai Wang; Jialin Qiao; Xiangdong Huang; Xiaoou Ding; Chen Wang; Zhongyi Pei; Jianmin Wang·· 22 小时前精选AI 评分77

超越静态排行榜:面向时序基础模型的结构多样性与能力导向评估

Beyond Static Leaderboards: Capability-Focused Evaluation with Structural Diversity for Time Series Foundation Models

AI 导读

基于摘要分析。本文研究时序基础模型(TSFMs)的预测评估问题,提出可刷新的能力导向评估扩展 CaFE(Capability-Focused Evaluation),以原始基准数据为基础构造具有不同结构特征的评估样本,并结合预测误差与干预响应刻画模型能力,而非仅依赖单一排行榜分数。 CaFE 首先分析原始基准,定义八项描述时序结构的 Structural Features(SFs)。随后针对各项 SF,依据其结构支持范围对原始数据重采样,去除分布边缘样本,再通过改变该特征的显著程度进行增强。进一步筛除分布外样本并保留多样性后,形成刷新的评估集。评估同时使用常规预测误差指标与干预响应指标,为每个模型提供逐特征能力画像。摘要未列出八项 SF 的具体定义、增强算子、分布筛选阈值或干预响应指标公式,相关实现尚未验证。 作者报告,在 GIFT-Eval 与 FEV-Mini20 上,CaFE 得到了稳定的评估结果,并揭示了总体分数掩盖的逐特征优势与弱点;在按结构条件筛选的真实数据上,由 CaFE 选择的模型优于按总体排行榜选择的模型。摘要未提供具体数值、稳定性的统计定义、数据划分及模型选择协议,实验协议、消融及统计信息尚未验证。文中关于固定基准反复使用可能诱发针对性调优的论述是研究动机,不能据此认定任何参评模型存在测试集泄漏。 平台推测(待验证):结构条件化评估可能用于检查 EEG 时序预测模型是否过度依赖特定时间结构,但原任务是通用时序预测,并非 BCI 解码。可复用的是结构分层与能力画像的评估思路;需重新验证结构特征及增强操作是否保留 EEG 生理意义,尤其要防范低信噪比和跨被试差异使干预响应失真。一个小规模可检验实验是在固定跨被试划分下,比较结构条件化选模与总体误差选模在独立真实 EEG 预测数据上的表现;这不构成对分类或 BCI 控制效果的验证。已有 EEG 相关工作尚未检索确认。

阅读价值

CaFE 将时序预测的总体误差排名扩展为按结构特征刻画的能力评估,值得核对其结构干预是否保持任务有效性,以及这种能力画像能否改善特定数据条件下的模型选择。

来源:arXiv · 时序与音频基础模型 · arxiv.org