探索温度对大语言模型的影响：热还是冷？

基于摘要分析。本文研究采样温度如何影响大语言模型（LLMs）的不同能力，并提出基于 BERT 的温度选择器，为给定 prompt 选择温度。主要研究对象是 LLM 推理中的采样超参数，而非 EEG 或 BCI 解码。 采样温度通过调整 softmax 之前的 logits 改变输出 token 的概率分布。作者在温度 0–2 范围内，对覆盖六类能力的数据集进行系统评估与统计分析，考察小型（1B–4B）、中型（6B–13B）和大型（40B–80B）开源模型。摘要未列出六类能力的具体名称、全部模型与数据集，也未说明温度为 0 时的实现方式。作者报告，温度对性能的影响因能力而异，因此实际应用中的最优温度选择不能简单采用统一设置。 在方法上，BERT-based temperature selector 利用观察到的温度效应，为输入 prompt 选择最优温度。作者报告，该方法能显著改善小型和中型模型在 SuperGLUE 数据集上的表现；摘要未提供具体指标、收益幅度、对照温度、选择器训练监督或数据划分，因此尚不能判断提升的大小及跨任务泛化能力。 作者还比较了 FP16 推理与 4-bit 量化模型中的温度效应，报告二者呈现一致的影响模式；另在三个量化模型上将温度评估范围扩展至 4.0，报告 Mutation Temperature（性能发生显著变化的温度点）随模型规模增大而升高。该温度点的判定标准、统计检验与适用任务尚未验证。 复现时需核对模型与量化配置、提示格式、解码设置、重复采样次数、选择器训练与测试划分，以及显著性检验。完整实验协议、消融及统计信息尚未验证。材料未提供该方法与 EEG/BCI 的具体机制对应关系，不能将 LLM 上的结果视为 BCI 有效性的证据。