分词空间中的信号在哪里？

基于摘要分析。本文研究 LLM 对同一文本的不同分词序列如何赋予概率，以及通常只使用规范分词序列是否忽略了有用信息。贡献包括非规范分词相关计算问题的复杂性分析，以及通过聚合非规范分词概率改善 LLM 评估表现的实证探索。 核心问题是文本与 token 序列并非一一对应：例如，Llama2 将“Tokens”规范编码为 [Tok,ens]，而 [Tok,en,s] 也能表示相同文本。因此，规范序列的概率与对所有可能分词序列求和所得的文本边缘概率，在定义上并不相同。作者证明，对自回归 LLM，寻找给定字符串的最高概率分词，以及计算所有可能分词的边缘概率，均具有计算困难性；具体复杂性条件与证明范围尚未验证。 作者报告，在多数情况下，边缘概率与规范分词概率难以区分，但分词空间中仍存在可用于评估的信号：仅聚合非规范分词的概率，就能在多种 LLM 评估基准上取得改善，涉及 transformers 和 state space models。摘要未给出基准名称、指标、提升幅度、分词采样或枚举策略，也未说明聚合方式及计算开销，实验协议、消融及统计信息尚未验证。 复现时需核对非规范序列的构造与有效性约束、概率聚合及归一化方式，以及相同模型和评估协议下相对规范分词的收益与成本。本文主要对象是文本 LLM 的分词与概率评估；材料未提供 EEG/BCI 验证或具体机制对应关系，不能据此推断神经信号解码效果。