跳到正文
OpenReview · State space models·· 28 天前精选AI 评分74

回溯性机器学习的发布状态审计

Release-State Audits for Retrospective Machine Learning

AI 导读

基于摘要分析。本文研究回溯性机器学习评估中的证据界定问题:仅有数据集名称或事件时间截止点,不能唯一确定评估当时可用的证据。作者提出 release-state audits,以封闭的参考规范关联精确来源状态承诺、样本支持范围核算、估计目标及可接受的结论。 该规范区分支持范围迁移与保留单元自身的变化,并在身份、标签或缺失支持要求不满足时,给出类型化的非结果。作者提出三项形式边界:最终事件时间视图不必然识别此前的可用性;有限个一致的标签状态不能确立永久不变性;涉及发布状态独有支持的并集配对对比,依赖预先登记的缺失侧限制。这些边界主要约束评估可作出的推断,而非提出新的预测模型。 实现方面,当前 v0.2 单输入检查器仅核验调用方声明中的封闭聚合类型及列明的代数关系,并始终暂不认可相关结论;它不确立来源回放或授权。另有独立、封闭的合成适配器/评估器测试装置,其证据仅限于有限的实现一致性,不代表真实场景检测性能。 作者报告,在一个探索性的合并前 BIG-bench 任务状态案例中,使用三个精确模型修订版本及固定全集的 998 个有效输入,完整四单元面板呈现任务状态间的描述性评分差异。在 no-appended-choice 呈现条件下,三个模型的聚合评分相同,且接近各单元对应的均匀随机选择期望,但这不意味着逐项预测相同。该案例说明任务状态应纳入评估对象;作者明确不据此确立发布后基准漂移、修复的因果效应或一般模型能力。 全文中的形式定义、四单元构成、评分计算、实验协议及统计信息尚未验证。本文主要贡献是评估证据与结论边界的规范化,不应将其解释为已验证的 EEG 或 BCI 方法。

阅读价值

值得阅读的是其将来源发布状态、样本支持范围、估计目标与可接受结论绑定的审计框架,但当前检查器与合成测试仅支持有限一致性验证,不能视为真实数据来源回放或漂移检测工具。

来源:OpenReview · State space models · openreview.net