Transformer 是多状态 RNN

基于摘要分析。本文研究 decoder-only Transformer 与 RNN 的概念联系及其推理缓存开销，提出将前者理解为隐状态大小不受限的多状态 RNN，并通过限制隐状态大小压缩 key-value cache。其主要研究对象是语言模型，而非 EEG 或 BCI。 机制上，作者将缓存压缩表述为从无界多状态 RNN 转为有界多状态 RNN，并提出无需训练的 Token Omission Via Attention（TOVA）压缩策略。摘要未给出具体注意力评分、token 保留规则或缓存更新流程，因此尚不能据此还原算法实现。 作者报告，在四项长程任务和多个 LLM 的实验中，TOVA 优于若干缓存压缩基线；部分情形下，仅使用原始缓存大小的 1/8 即取得接近完整模型的结果，并带来 4.8 倍吞吐量。摘要未列出对应任务、模型、基线、结果指标及硬件与批处理条件，这些数字应限于作者所述评估情境理解，不能视为普遍收益。作者提供了公开代码链接；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 序列模型采用带 key-value cache 的因果 Transformer，且长时流式推理确受缓存容量限制，TOVA 可能提供可复用的缓存管理思路。该假设依赖模型具备可用于筛选历史 token 的注意力信息；EEG 的时间分块、通道表示及缓存淘汰规则可能需要改造。低信噪比下，注意力筛选可能遗漏微弱但关键的瞬态信息，跨被试差异和小数据条件也可能降低其稳定性。一个可证伪的小实验是在固定模型与数据划分下，对比完整缓存、TOVA 与简单窗口缓存，在相同缓存预算下同时测量原任务指标、延迟和峰值显存。已有 EEG 相关工作尚未检索确认。