跳到正文
OpenReview · State space models·· 2026-08-02精选AI 评分80

语言模型语义落地的失败感知归因:以决策为中心的评估协议

Failure-Aware Attribution of Language-Model Grounding: A Decision-Focused Evaluation Protocol

AI 导读

基于摘要分析。该研究关注与求解器耦合的语言模型:从自然语言中提取状态信息,是否真正改善下游决策,而非仅提高提取准确率或最终方案质量。作者将语义落地定义为固定求解器上游、可从外部观察的状态估计接口,提出以配对遗憾差异归因接口决策贡献的评估协议,并给出这种归因成立的条件。 协议的关键是将每个逻辑请求都保留在估计目标中,使解析或调用失败不会因被排除而掩盖实际运行风险。摘要未提供遗憾的具体定义、失败计分规则及识别条件,相关细节尚未验证。 在通勤铁路领域,作者使用120份独立撰写并经裁定的简报,评估四个托管模型家族、两种JSON契约,并设置正则表达式、符号方法和学习型信息提取器作为对照。作者报告,在960次单次请求中,所有配对契约差异的区间均包含零,且没有语言模型实验单元可靠地优于学习型提取器;这不等于证明不同契约等效。作者报告,解析有效率介于70.4%至100%,说明字段准确率相近时,运行可靠性仍可能不同。 作者报告,另增加360次抽样的重复调用检查中,排名最高的模型随重复实验变化,观察到的模型间差异未超过服务提供方自身的运行间波动。在独立的三轮实验中,96个模型—案例配对有59个遇到失败请求。医院病房领域采用不同动作空间和词汇的复现实验,作者报告同样未观察到明确的契约差异,LLM也未显示稳定超越对照的模式;该实验的样本量与具体指标尚未验证。 平台推测(待验证):可迁移到EEG/BCI的是评估框架,而非语言模型效果。假设固定下游决策器后,将解码输出视为状态估计接口,保留无效输出或拒识试次,并比较配对决策损失,可检验解码改进是否产生实际决策收益。可在同一批EEG测试试次上比较两个解码器,保持下游策略不变;需改造状态映射、失败代价及被试层级不确定性估计。低信噪比、跨被试差异和小样本可能使归因不稳定。已有相关EEG工作尚未检索确认;全文实验协议、消融及统计信息尚未验证。

阅读价值

值得阅读的是其将语言模型的状态提取贡献与固定求解器的决策表现分开归因,并把失败请求纳入评估;作者报告的零结果与重复调用波动也提示,不能仅凭字段准确率或单次排名判断决策价值。

来源:OpenReview · State space models · openreview.net