作为概率有限状态自动机的循环神经语言模型

研究关注 RNN 语言模型能够表示哪些字符串概率分布，以概率有限状态自动机为形式化工具，刻画其表达能力与表示空间复杂度。基于摘要分析，本文贡献是理论上的能力边界，而非新的语言模型训练方法或 EEG/BCI 实验结果。 既有研究主要通过识别无权形式语言来分析 RNN 的表达能力；本文强调，语言模型实际定义的是字符串上的概率分布，因此仅考察语言识别能力不足以直接描述其建模能力。作者报告，简单 RNN 与概率有限状态自动机的一个子类等价，因此其可表示的概率分布仅构成有限状态模型可表达分布的严格子集。该结论应限定在论文所研究的简单 RNN 及相应形式化条件内，不能直接推广至所有循环架构或状态空间模型。 在空间复杂度方面，作者报告：若要表示字母表 Σ 上具有 N 个状态的任意确定性有限状态语言模型，RNN 所需神经元数量具有 Ω(N|Σ|) 的渐近下界。这里讨论的是表示所需的规模约束，不是训练样本量、推理耗时或实测性能；摘要未提供该下界所依赖的具体架构、数值精度及概率输出参数化条件，需阅读全文核对。 摘要未涉及 EEG 数据、被试划分或 BCI 任务，也不足以建立具体的跨领域迁移机制，因此不据此提出 EEG 性能提升或复现实验建议。定理条件、证明细节及实验协议、消融和统计信息尚未验证。