跳到正文
OpenReview · State space models· Sunny Yu; Ahmad Jabbar; Robert Hawkins; Dan Jurafsky; Myra Cheng·· 2025-12-31精选AI 评分76

生成空间大小:理解与校准 LLM 生成的开放性

Generation Space Size: Understanding and Calibrating Open-Endedness of LLM Generations

AI 导读

基于摘要分析。本文研究不同开放式生成任务所需的输出多样性与 LLM 实际行为不匹配的问题,提出有效生成空间大小(Generation Space Size,GSS),即模型针对一个提示所考虑的语义不同输出的集合,用于统一分析创意任务中的输出同质化与事实任务中多样但错误的回答。 核心机制是将生成的开放程度转化为可评估的 GSS 概念,而不是单独考察输出多样性或不确定性。作者提出 GSSBench,其中包含具有真实 GSS 关系的提示对,用于比较不同测量指标,并识别模型行为偏离任务需求的位置。摘要未说明这些关系的标注方式、提示对构成,以及 GSS 的具体估计公式。 作者报告,在 GSSBench 的指标比较中,幻觉检测指标,尤其是 EigenScore,持续优于标准多样性与不确定性量化指标;该结论针对 GSS 测量能力,不应直接理解为生成准确率提升。摘要同时指出,此类测量仅使用模型内部信息,并可提供关于内部任务表征的可解释线索,但具体内部信息、计算过程及比较指标尚未验证。 作者展示了三类应用:检测提示歧义并预测澄清问题,以改善回答的依据与语境;解释推理模型的过度思考和思考不足;引导模型扩大生成空间,以产生高质量且多样的输出。摘要未提供这些应用的定量结果或质量评价协议,因此尚不能判断扩大生成空间能否稳定兼顾多样性与正确性。 复现需核对 GSSBench 的构造与划分、模型及生成设置、EigenScore 实现、引导机制、对照与统计信息,以上尚未验证。本文主要研究对象是 LLM 开放式生成,并非 EEG 解码或 BCI;摘要不足以建立具体的神经信号迁移机制,已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是作者以有效生成空间大小统一分析创意任务的输出同质化与事实任务的幻觉,并通过 GSSBench 比较测量指标;其校准效果及复现条件仍需全文验证。

来源:OpenReview · State space models · openreview.net