校正 LLM 基准评估中的提示依赖：结合嵌入空间聚类的贝叶斯层次模型

基于摘要分析。本文研究 LLM 基准评估在样本有限、测试提示并非相互独立时，如何更可靠地估计性能与不确定性；核心贡献是提出结合嵌入空间聚类的贝叶斯层次模型，以校正提示依赖。 作者指出，常用评估依赖两个可能不成立的前提：评估数量足以支持经典统计推断，以及测试提示相互独立。所提方法以嵌入空间聚类刻画提示间的分组结构，并通过层次化贝叶斯建模处理依赖性。摘要未提供嵌入来源、聚类算法、层次结构、先验或后验推断方式，具体实现尚未验证。 作者报告，在对抗鲁棒性基准上的应用中，该方法能够一致地恢复聚类结构；相对于摘要未具名的对照，平均绝对误差改善 4–73%，预期对数后验密度改善 40–450 个单位。这些结果属于所述对抗鲁棒性评估场景，不能解释为 LLM 任务准确率的提升。具体基准、样本规模、参照真值、对照方法、区间覆盖率、消融及统计信息尚未验证。 平台推测（待验证）：其统计机制可能对应 EEG 评估中同一被试或会话内试次相关、独立样本量被高估的问题，而非直接改进 EEG 解码。可考虑复用层次建模思路，但需将提示嵌入与聚类替换为适合 EEG 的表示及被试、会话分组；低信噪比、通道差异和小样本可能使聚类不稳定。一个可检验的假设是：在固定解码器与跨被试划分下，比较独立试次假设和层次模型对性能区间覆盖率的估计，检验后者是否改善不确定性校准。相关 EEG 工作尚未检索确认。