什么决定激活空间中特征的排列？下一词元预测器中的非经典预测几何

基于摘要分析。本文研究下一词元预测器的激活空间为何形成特定几何结构，核心贡献是将预测表征的几何与训练数据生成器的计算类别联系起来，并用具有解析预测几何的合成序列检验不同神经网络学到的表征。 作者提出，数据分布决定预测需要哪些特征，而预测器将这些特征实现为对当前潜在状态的信念；生成器的类别则约束这些信念的几何。实验涉及三类过程：经典 HMM 过程、可由量子模型实现但不存在有限状态 HMM 实现的过程，以及可由广义概率模型实现但不存在有限维量子实现的过程。这里的“量子”描述生成过程与预测状态的数学结构，并不意味着网络使用量子硬件。 作者在这些合成数据上训练 transformers、LSTMs、GRUs 和 vanilla RNNs，并报告：各架构的激活均可通过单个仿射映射解码为相应预测表征，分别对应潜在单纯形中的 HMM 信念、Bloch-vector 量子状态或有限维广义预测向量。作者还报告，这些表征在训练中逐渐出现，对紧凑非经典几何的拟合优于有限阶经典 Markov 基线。摘要未提供拟合指标、误差数值或基线阶数，因此不能据此量化优势，也不能将几何拟合优势等同于下一词元预测性能优势。 实验协议、数据规模、网络配置、训练目标细节、仿射解码器的数据划分、消融及统计信息尚未验证。复现需取得三类生成过程的具体定义、解析预测状态及训练与解码评估流程。本文支持的是受控合成过程中的表征分析，不直接建立自然序列或神经信号中的对应结论。 平台推测（待验证）：若 EEG 自监督时序预测能够用明确的潜在状态生成过程描述，可借用“解析预测状态—激活仿射解码”的分析框架，检验网络学到的是预测状态还是局部时序相关性。需改造连续信号观测模型、噪声机制与状态定义；低信噪比、跨被试及通道差异、小数据均可能使状态不可辨识。一个可证伪的小实验是在已知潜在状态的合成多通道时序上改变噪声水平，比较留出序列上的仿射状态解码与有限阶 Markov 基线；这只能验证分析工具的适用范围，不能证明 BCI 收益。已有 EEG 相关工作尚未检索确认。