突破 KV 困境：Transformer 生成动力学的状态空间分析

基于摘要分析。本文研究 Transformer LLM 自回归生成中的重复循环等动力学现象，核心贡献是为具有增长记忆的注意力过程建立固定大小状态的描述，并据此分析固定点及其稳定性。原论文的主要对象是语言模型生成动力学，而非 EEG 解码或 BCI。 机制上，作者指出，Transformer 虽是前馈网络，但自回归部署产生了动态演化过程；随生成增长的记忆使传统固定维状态空间分析难以直接应用。作者给出不含位置嵌入的注意力头与固定大小状态的非线性自交互 Markov chain 之间的精确描述关系，利用时间尺度分离推导固定点的自洽条件，再构建能够寻找稳定与不稳定固定点的优化方法。 作者报告，在预训练单层 Transformer 中消融位置机制的注意力头上，该方法发现了稳定的重复吸引子、渐近不稳定但可持续存在的语义簇，以及相邻吸引子之间的鞍点状态。随后，作者针对一般注意力层提出多时间尺度平均场近似，报告其与完整模型的行为接近，并找到一个不稳定的重复状态；该状态的预测逃逸动力学得到真实模型生成轨迹的验证。摘要未提供匹配误差、生成长度或其他定量评估信息。 阅读正文时需核对固定大小状态的具体构造、精确对应关系的适用条件、时间尺度分离与平均场近似的假设，以及位置机制对结论的影响。实验协议、消融及统计信息尚未验证，模型与代码获取条件也尚未验证。该工作提供的是生成动力学分析工具，不应仅因其采用状态空间视角，就将其等同于 EEG 时序建模方法或已验证的 BCI 算法；相关 EEG 工作尚未检索确认。