跳到正文
arXiv · 泛化与分布偏移· Siyu Zhou; Jialin Ouyang; Fan Xia; Adarsh Subbaswamy; Drew Prinster; Suchi Saria; Augusto Garcia-Agundez; Sarah Pollet; Jinoos Yazdany; Patrick Vossler; Jean Feng·· 2 天前精选AI 评分81

通过 Monitoring-by-Betting 学习检测非结构化数据流中的分布偏移

Learning to Detect Shifts in Unstructured Data Streams via Monitoring-by-Betting

AI 导读

基于摘要分析。本文研究生成式 AI 系统输入与输出的非结构化数据流监测,提出 Monitoring-by-Betting,以 testing-by-betting 将序贯变点检测转化为下注过程,在持续学习偏移方向的同时维持统计有效性。主要贡献是提出 asymptotic e-detectors,并结合嵌入学习和 LLM 概念生成构建自适应监测策略。 核心机制:预先固定差异度量会形成敏感性与覆盖范围的权衡;针对预期偏移设计的度量可能遗漏意外变化,宽泛度量则可能降低检测敏感性。方法随观测更新假设的偏移方向,即 witness function,并以大小为 m 的校准集近似变化前分布。作者给出的理论结论是:随着 m 增大,误报前平均运行长度得到渐近控制;这不等同于任意有限校准集下的精确保证。具体下注规则、更新时序及理论假设尚未验证。 作者报告:实验中,小至 m=30 的校准集也能提供有效控制;在三个真实世界数据集上,包括临床 AI 记录助手部署数据,自适应监测器在相同误报水平下比固定监测器更快发现偏移。当真实偏移稀疏且可解释时,LLM 概念监测器检测最快、解释性最好,并可辅助复杂偏移的根因诊断。摘要未给出数据集名称、检测延迟数值或误报水平,实验协议、消融及统计信息尚未验证。 平台推测(待验证):其自适应 witness function 可能用于 EEG 跨会话或跨被试的特征分布监测,但原研究并非 BCI 验证。该迁移假设依赖代表性的变化前校准数据及可学习的偏移特征;可复用下注与序贯监测框架,需改造 EEG 表征、校准流程及时间依赖处理。低信噪比、通道变化和小校准集可能使监测器将伪迹当作任务相关漂移;LLM 概念模块也未必适合连续 EEG。可先在保留时间顺序的 EEG 跨会话数据上,对比自适应与固定 witness function,在匹配误报前平均运行长度的条件下测量检测延迟,并核对对任务相关变化与伪迹的区分能力。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其如何用 testing-by-betting 协调自适应漂移方向学习与误报控制,但有限校准集下的有效性及向 EEG 数据流迁移的条件仍需核对。

来源:arXiv · 泛化与分布偏移 · arxiv.org