状态空间模型能够表达 n-gram 语言

基于摘要分析。本文研究状态空间模型（SSMs）如何编码自然语言下一词预测中的组合规则，构造能够对由 n-gram 规则生成的语言完成下一词预测的状态空间语言模型。作者据此主张，SSMs 能够表达这类规则语言，并以理论构造解释其相对于 n-gram 规则系统的表达能力。 核心机制是利用关于 SSM 记忆容量的新理论结果编码 n-gram 规则，同时通过约束状态转移矩阵的谱控制上下文窗口。该工作主要贡献是表达能力与记忆机制的理论分析，而非发布新的预训练模型；摘要提及 Mamba 作为 SSM 示例，但未说明理论构造是否直接对应其具体实现。表达能力结论也不等同于梯度训练一定能够找到相应解，或在真实语言任务中必然优于其他模型。 作者报告，在一个由 n-gram 规则生成的小型数据集上开展实验，展示该框架可用于通过梯度优化得到的 SSMs 和 RNNs。摘要未提供数据规模、规则生成与划分方式、模型配置、对照基线或定量指标，理论成立条件、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：谱约束控制记忆范围的机制，可能为 EEG 序列建模中的有效时间窗口选择提供分析思路。原问题依赖离散符号及有限历史规则，而 EEG 是低信噪比连续信号，不能直接等同于 n-gram 语言；可借鉴的是状态转移谱与记忆范围的关系，输入表征、监督目标及模型构造均需重新适配。假设过强的短记忆约束会丢失较长时间依赖，且被试、通道差异和小数据可能使理论构造难以通过训练实现。可检验的小实验是在固定 EEG 任务与被试内划分下，仅改变谱约束，与无约束的同结构 SSM 比较任务指标及对输入窗口长度的敏感性。相关 EEG 工作尚未检索确认。