线性注意力的海马体：为循环状态遗忘的信息提供精确记忆

基于摘要分析。研究针对线性注意力与状态空间语言模型将历史前缀压缩到固定大小循环状态后，远距离键值关联可能被覆盖、精确检索失效的问题，提出 HOLA（Hippocampal Linear Attention）：利用状态更新信号筛选值得保留的 token，并通过小型精确键值记忆补充压缩状态。主要研究对象是语言模型；海马体与新皮层的互补学习系统是设计类比，而非生物神经机制验证。 核心机制：作者称，在 delta-rule 模型中，token 引起的状态更新幅度能精确衡量它与压缩记忆的不匹配程度，且该信号已在逐步计算中产生。HOLA 为每个 Gated DeltaNet 层加入小型精确键值记忆，按这一信号保留高分 token，而非仅缓存最近的 token。其方法区别在于记忆内容的选择依据，摘要尚不足以核对该衡量关系的数学条件、记忆读写细节及额外计算开销。 作者报告，在一条 32k-token 序列上，训练后模型的 64 槽记忆在目标 needle 出现后经过 29k tokens 仍保留它，而同容量近期缓存已将其丢弃。另在 1B 参数、使用 50B tokens 训练的设置下，作者报告 HOLA 的上下文检索四任务平均分为 35.4，所比较的已发表 Gated DeltaNet、KDA 及其预条件化变体最高为 32.7，同时语言建模与常识推理表现相当。摘要未说明该平均分的具体指标、任务组成及完整评估协议，不能将其改写为 Accuracy 或百分比。 复现时需核对更新幅度的定义与适用条件、缓存容量和计算预算是否匹配、训练及评估数据、基线设置，以及不同记忆选择策略的消融和统计信息；这些内容尚未验证。该机制依赖语言序列中的 token 与键值表示，不能直接等同于连续 EEG 中的关键事件记忆。EEG/BCI 迁移效果尚未验证，已有 EEG 相关工作尚未检索确认。