潜在表征空间中压缩边界产生的情景记忆
Episodic Memory from Compression Boundaries in Latent Representation Space
基于摘要分析。本文研究 LLM 智能体在长期交互中如何选择性保留记忆,提出以潜在表征空间中的压缩失败作为情景记忆形成信号,并实现惊讶度门控记忆机制 ReSuME。其主要研究对象是长时程多轮对话中的记忆写入,而非神经信号解码。 方法上,作者使用 Sparse Autoencoders(SAEs)近似常规 LLM 激活的流形,将相对于该流形的重构误差定义为 representational surprise。ReSuME 仅在归一化重构误差超过经校准的阈值时,将对话轮次写入记忆,从而用模型内部的无监督信号替代外部重要性规则或相似度新颖性判断。摘要还提出协方差感知归一化,用于跨领域阈值校准;具体计算形式及校准数据要求尚未验证。 作者报告,在长时程多轮对话设置中,该信号能够区分常规、关键及分布外状态;相较 MemGPT、EM-LLM 和无监督异常检测器,取得更优的性能—记忆权衡,且推理成本明显低于 LLM-judge 控制器。摘要未给出具体数据集、指标数值、模型规模或成本计量方式,实验协议、消融及统计信息尚未验证,不能据此判断优势幅度与适用边界。 平台推测(待验证):其可借鉴之处是“以常规表征的重构残差触发选择性存储”,可能对应 EEG 持续监测中的候选片段保留问题,而非直接提高分类准确率。迁移假设依赖足量、相对稳定的常规 EEG 表征;可复用残差门控思想,但需改造编码器、归一化与阈值校准。低信噪比、伪迹及被试或通道变化可能被误判为重要事件,小数据也可能使常规表征估计不稳。可在固定 EEG 编码器与独立校准集下,对比残差门控和随机保留,在相同存储预算下检验目标事件保留率与伪迹误触发率。该实验仅为可证伪的迁移假设,已有 EEG 相关工作尚未检索确认。
值得关注其以 SAE 重构误差驱动记忆写入、并通过协方差感知归一化校准阈值的机制,但性能—记忆权衡与推理成本优势目前仅有摘要中的作者报告,尚不能视为 EEG/BCI 有效性的证据。
来源:OpenReview · State space models · openreview.net