分词空间中的信号在哪里？

基于摘要分析。本文研究 LLM 对同一文本的不同分词方式如何赋予概率，以及非规范分词中是否存在可用于评估的额外信号。核心贡献包括分词概率计算的复杂性分析，以及通过聚合非规范分词概率改善 LLM 基准评估表现的实证探索。 通常，分词器将文本确定性地编码为规范 token 序列，人们据此将该序列的概率视为文本概率。但同一字符串可由多种 token 序列表示，例如 Llama2 将 Tokens 编码为 [Tok,ens]，而 [Tok,en,s] 也表示相同文本。作者证明，对于自回归 LLM，寻找给定字符串概率最高的分词，以及对所有可能分词求边缘概率，在计算上均具有困难性；具体复杂性条件与证明范围尚未验证。 作者报告，在其考察的大多数情形中，边缘概率与规范分词概率难以区分，但非规范分词空间仍包含显著的有效信号。作者进一步报告，仅聚合非规范分词的概率，即可在多项 LLM 评估基准及包括 transformers、state space models 在内的多种架构上取得改善。摘要未列出基准名称、具体指标、分词采样或聚合规则、对照设置及额外计算开销，因而尚不能判断收益大小、稳定性与适用边界；实验协议、消融及统计信息尚未验证。 论文的主要对象是文本分词与 LLM 概率评估，而非 EEG 或 BCI。摘要未提供神经信号离散化或解码任务的具体对应机制，不能据此推断其对 BCI 的有效性；已有 EEG 相关工作尚未检索确认。