面向长上下文场景扩展 RNN LLM 的状态规模

基于摘要分析。本文研究 RNN-based LLM 在长上下文中的信息保持瓶颈，提出以较小参数开销扩展状态规模的方法，目标是使其状态容量匹配具有 2k 基础上下文长度的 Transformer。主要研究对象是语言模型的长上下文理解与检索，而非 EEG 或 BCI。 作者将状态规模识别为关键瓶颈：RNN-based LLM 的状态容量较小，而直接扩大状态会显著增加参数量并降低训练效率。论文提出高效扩展方法，但摘要未披露具体状态组织、参数化方式、训练目标或推理更新机制，因此尚不能判断其与既有状态扩展方法的差异，也不能把“匹配 2k 上下文”理解为完整保留 Transformer 的全部上下文信息。 作者报告，状态扩展可提升长上下文理解，检索表现随状态规模近似线性提升；在强调召回能力的 FDA 任务上，采用扩展状态的 454M 模型取得了与 1.47B 模型相当的表现。摘要未给出 FDA 的完整定义、具体指标、数据划分、对照模型配置及训练预算，这一比较不能外推为通用能力或总体计算效率相当。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若该方法能在受控参数和计算开销下提高递归状态的信息保持能力，可能为长时程 EEG 序列建模提供思路，但语言 token 上的检索收益不等于神经信号解码收益。迁移需改造输入编码与任务输出，并核对更大状态是否会在低信噪比、小数据及跨被试差异下累积噪声或过拟合。可证伪的小实验是在固定 EEG 编码器与被试划分、控制参数及训练预算的条件下，仅改变状态规模，比较长短窗口中的解码表现与资源开销。已有 EEG 相关工作尚未检索确认。