Think Ontologically:将神经形式化状态不变量内化以实现大语言模型智能体的鲁棒对话记忆
Think Ontologically: Internalizing Neuro-Formal State Invariants for Robust Conversational Memory in Large Language Model Agents
基于摘要分析。本文研究多轮对话中 LLM 智能体的记忆退化,提出 Think Ontologically,通过训练将对话状态追踪内化到神经策略权重中,并在回答前自回归生成一阶关系状态不变量,以减少对外部文本摘要缓冲区或独立符号求解器的依赖。 机制与训练:关系表示包括 causes、holds_value、has_state、has_goal,并以 UFO 和 BFO 基础本体为依据。训练采用两阶段课程:先在经验证的关系元组上进行监督预热,再使用带确定性多层级奖励信号的 Verifiable Reinforcement Fine-Tuning(RLVR)。作者报告,Group reward-Decoupled Normalization Policy Optimization(GDPO)与序列级重要性采样(GSPO)能够消除多奖励梯度掩蔽,使模型满足演绎约束,并在所评估设置下保持 100% 语法有效性及较小策略漂移(KL 散度不超过 0.0027)。奖励具体定义、关系元组的验证方式及约束覆盖范围尚未验证。 实验结果:摘要列举 Qwen-2.5-14B/7B、Llama-3.1-8B、Gemma-3-4B 和 DeepSeek-R1-Distill-7B。作者报告,相对于零样本和上下文学习基线,IFEval 严格指令遵循率最多提高 6.63 个百分点,GPQA Diamond 科学推理成绩达到 29.80%,τ-bench Airline 交互任务的目标完成率达到 88.0%;相对于解耦的神经符号流水线,推理延迟降低超过 75%。各结果对应的模型、训练与测试划分、重复试验及统计信息尚未验证,不能将这些任务指标直接等同于长期对话记忆保持能力。 阅读与复现重点:需核对对话长度与状态冲突设置、状态不变量生成错误是否向后续回答传播、各奖励及优化方法的消融,以及延迟比较的硬件和调用配置。当前材料未提供直接对应 EEG/BCI 信号建模的机制或实验依据,不据此推断 BCI 有效性;已有 EEG 相关工作尚未检索确认。
值得核对其以显式关系状态约束对话记忆、并通过多奖励强化微调缓解奖励间梯度掩蔽的机制,但摘要中的指令遵循、推理和任务完成结果尚不足以单独验证长期记忆鲁棒性。
来源:OpenReview · State space models · openreview.net