跳到正文
OpenReview · State space models· Sunny Yu; Ahmad Jabbar; Robert D. Hawkins; Dan Jurafsky; Myra Cheng·· 2025-09-19精选AI 评分76

生成空间大小:理解与校准 LLM 生成的开放性

Generation Space Size: Understanding and Calibrating Open-Endedness of LLM Generations

AI 导读

基于摘要分析。该研究关注 LLM 输出多样性与任务所需开放程度不匹配的问题,提出以有效生成空间大小(Generation Space Size,GSS)统一描述创意任务中的输出同质化,以及事实任务中多样但错误的回答。GSS 指模型针对某一提示所考虑的语义不同输出的集合;研究同时提出 GSSBench,用于评估相关度量并分析模型行为与期望之间的偏差。 GSSBench 由具有真实 GSS 大小关系的提示对构成,评估重点是不同指标能否反映提示之间的生成空间关系。摘要未说明这些关系如何标注或验证,也未给出任务规模、模型范围及采样协议。作者报告,在该任务套件的评估中,幻觉检测指标,尤其是 EigenScore,持续优于标准多样性与不确定性量化指标,并可为模型如何表征不同提示的开放程度提供可解释线索;具体比较指标、数值及统计信息尚未验证。 作者展示了三个应用方向:检测提示歧义并分析模型何时提出澄清问题;解释推理模型的过度思考与思考不足;引导模型扩大生成空间,以产生高质量且多样的输出。摘要未披露引导机制、是否涉及训练或推理阶段干预,以及质量与多样性的联合评估方式,因此不能据此认定已实现普遍有效的校准。 该工作的主要对象是 LLM 开放式生成,而非 EEG 或 BCI 解码。当前材料不足以建立其与神经信号建模的具体机制对应,不据此提出迁移效果判断。复现需进一步核对 GSS 的操作性定义、语义差异判定、EigenScore 的计算与采样条件,以及 GSSBench 的构建和评估协议;实验协议、消融及统计信息尚未验证。

阅读价值

值得关注其用有效生成空间大小统一分析创意任务输出同质化与事实任务幻觉的思路,以及通过 GSSBench 提示对检验度量指标的设计;其校准效果与复现条件仍需核对全文。

来源:OpenReview · State space models · openreview.net