Cortex:将上下文巩固为参数化记忆
Cortex: Consolidating Context into Parametric Memory
基于摘要分析。该研究关注大语言模型移除上下文后,如何保留上下文带来的能力增益,同时保持非目标能力。作者借鉴生物系统巩固的概念,提出 Memory Consolidation(MC,记忆巩固)目标,并以 Cortex 将上下文条件下的输出蒸馏为模型参数更新;研究对象是语言及多模态模型,并非生物记忆实验或 BCI。 机制上,Cortex 生成前瞻查询,以预判上下文未来可能被如何使用,再将依赖上下文的输出蒸馏到可合并的低秩更新或结构化前馈网络更新中。该框架将上下文指定的编辑、技能学习和行为引导联系起来,但具体查询生成方式、蒸馏损失、更新位置及参数合并规则尚未验证。 评估方面,作者建立包含五类任务的测试平台,在单次、批量和序列更新条件下衡量巩固效果与能力保持。作者报告,在覆盖 4B–120B 参数规模、包含纯文本与多模态模型的稠密及 mixture-of-experts 骨干上,Cortex 在多数已评估设置中处于经验性的巩固—保持 Pareto 前沿。作者还报告,在一个 14B 模型上完成 50 次序列事实编辑后,Cortex-Structural 恢复了上下文所带增益的 88.9%,同时保留原有非目标性能的 99.8%;两者均不能直接解释为任务 Accuracy。 阅读全文时需核对五类任务的构成、目标与非目标评估集的定义、对照基线,以及增益恢复率和性能保持率的计算方式。实验协议、消融及统计信息尚未验证。摘要未提供 EEG/BCI 的具体机制对应或实验依据,不据此推断其在神经信号解码中的有效性。
该研究将上下文收益的参数化保留与非目标能力保持纳入统一评估,值得关注其前瞻查询蒸馏和可合并参数更新机制,但具体训练协议及保留指标定义尚待全文核验。
来源:arXiv · 架构与算子 · arxiv.org