关注 Tokenizer：为何一个空格决定多项选择评估测量的内容

基于摘要分析。本文研究预训练 LLM 的多项选择评估中，提示与答案之间的单个空格为何影响评分，以及不同切分方式究竟测量模型知识还是输入变化鲁棒性。其主要贡献是把这一现象归因于 tokenizer 的可组合性假设，并据此讨论评估协议的选择。 常见评估将提示结尾设为“Answer:”，随后计算模型赋予“A”“B”等选项标签的似然。同一个完整字符串可以将冒号后的空格归入提示，也可以归入答案。作者指出，常见 tokenizer 在这一边界上不满足可组合性：分别处理提示和答案所得的 token 序列，不一定与对完整字符串进行分词所得的序列一致。摘要称，只有此前研究中得分较高的切分方式，能够复现完整字符串的分词方式，即与训练时所见的分词形式一致。 结果需区分前人发现与本文实验。摘要援引 Sanz-Guerrero 等人的工作，称空格切分会改变 Accuracy，甚至重排模型排名；本文作者则报告，在三个近期基础模型上，违反可组合性会使正确答案的似然下降数个数量级，但 Accuracy 基本不变。摘要未给出模型名称、评估数据集、具体数值或评分细节，因此不能据此量化影响，也不能将似然下降直接等同于答题能力下降。 作者主张，切分方式应由评估目标决定：测试知识时，应关注是否保持完整字符串的分词形式；测试对细微输入变化的鲁棒性时，则需明确扰动的定义与测量对象。这是一项 LLM 评估方法研究，而非状态空间模型或 EEG/BCI 方法研究。实验协议、消融及统计信息尚未验证，发表或接收状态亦无法由所给材料确定。