跳到正文
OpenReview · State space models· David Oneil Campos Ferreira; Priscila Rocha Maia Freitas Ribeiro; EMANUEL BORGES PASSINATO; Diogo Fernandes Costa Silva; Arlindo Rodrigues Galvão Filho·· 2026-03-03精选AI 评分72

潜在表征空间中压缩边界驱动的情景记忆

Episodic Memory from Compression Boundaries in Latent Representation Space

AI 导读

基于摘要分析。研究针对 LLM 智能体的长期记忆选择问题,提出以潜在表征的压缩失败作为情景记忆形成信号,并通过 ReSuME 将这一原则实现为选择性记忆写入机制。主要研究对象是长时程多轮对话中的神经智能体记忆,而非 EEG 解码或 BCI。 核心机制是使用 Sparse Autoencoders(SAEs,稀疏自编码器)近似常规 LLM 激活的流形,将相对于该流形的重建误差定义为表征惊异度。当归一化重建误差超过校准阈值时,ReSuME 才将对话轮次写入记忆。其方法特点在于利用模型内部表征偏离常规结构的程度,而非外部重要性规则或基于相似度的新颖性判断。摘要还提出协方差感知归一化,用于跨领域阈值校准;具体计算形式、激活提取位置及 SAE 训练方式尚未验证。 作者报告,在长时程多轮对话设置中,表征惊异度能够区分常规、关键与分布外状态;在固定预算下,相比启发式和相似度基线获得更好的性能—记忆权衡,并通过协方差感知归一化支持稳健的跨领域校准。摘要未提供任务名称、数据规模、具体指标、预算定义或数值,因此尚不能判断提升幅度及适用范围。实验协议、消融及统计信息尚未验证,尤其需核对阈值校准数据与评估数据的关系,以及重建误差能否稳定区分“重要信息”与一般异常。 平台推测(待验证):该机制可作为 EEG 表征异常检测或选择性缓存的研究假设,但原领域有效不等于 BCI 有效。可复用模块是潜在表征重建残差及其归一化门控;需改造 EEG 编码器、常规状态训练样本与校准方式。低信噪比、伪迹、被试及通道差异可能使高残差主要反映噪声,而非任务相关信息,小数据也可能导致常规流形估计不稳。一个可证伪的小实验是在固定 EEG 编码器和相同缓存预算下,对比残差门控、随机选择及相似度选择,检验其是否改善下游任务表现,并检查被选片段是否主要由伪迹驱动。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其以内部激活重建误差控制记忆写入的机制,以及固定预算下相对启发式和相似度基线的性能—存储权衡;其向 EEG 的迁移价值尚未验证。

来源:OpenReview · State space models · openreview.net