跳到正文
OpenReview · State space models·· 2026-09-04精选AI 评分75

LiveMem:通过活态记忆状态维持 LLM 的长期运行记忆

LiveMem: Maintaining LLM Long-running Memory by Living Memory State

AI 导读

基于摘要分析。本文研究长时间运行的 LLM 助手与智能体如何在上下文不断更替时保留并利用历史信息,提出 LiveMem:在预训练全注意力 LLM 旁增加并行循环记忆分支,以持续更新的内部状态承载长期记忆,而非仅将历史存为文本并按需检索。 机制上,原有注意力路径负责精确访问有界工作上下文,循环分支则在线更新记忆状态,并使其跨上下文更替持续存在。作者通过面向记忆的后训练,教模型使用该状态。摘要未提供状态更新方程、记忆容量、分支与主模型的融合方式,以及后训练目标和训练数据,因此尚不能判断具体实现与复现成本。 作者报告,LiveMem 相较 RAG 和其他内生记忆方法取得领先的总体表现;在 LongMemEval 中,即使支持证据已完全移出上下文,模型仍可依靠记忆状态回答问题。作者还将测试时学习结果解释为:状态承载了从既往经验中提炼的模式,而不只是可检索的记录。摘要未给出具体分数、数据划分、对照配置或统计信息,上述性能与解释均需结合完整实验协议核对。 阅读重点是区分持久状态带来的历史信息保留与经验模式学习,并核对上下文更替、证据移除及不同记忆方法的资源预算。实验协议、消融及统计信息尚未验证。本文的主要对象是 LLM 长期记忆,材料未提供 EEG 或 BCI 验证,不能将其结果直接视为神经信号建模或在线适应的有效性证据。

阅读价值

值得核对的是其在支持证据完全退出上下文后仍依赖内部状态作答的评估,以及该状态是否确实支持超出历史记录检索的测试时学习;目前仅有摘要,性能优势与机制解释尚待全文验证。

来源:OpenReview · State space models · openreview.net