具有稳定时间抽象的语言模型智能体分层强化学习

基于摘要分析。本文研究语言模型智能体在分层强化学习中的时间抽象不稳定问题：即使规划与执行已显式分离，边界策略仍可能几乎每轮更换子目标，或在子目标不再适用时继续保留它。作者提出 Stable Temporal Abstraction via Constrained Optimization（STAC），通过约束边界策略优化来平衡过早重规划与过时子目标的持续执行。 核心机制是将上述两类行为表示为约束成本，并仅将对应的拉格朗日成本施加于采样到的边界决策。摘要明确说明，底层算法的奖励、critic 目标、子目标优势和原子动作优势保持不变。因此，其方法重点不是重构整个分层学习目标，而是针对决定子目标何时切换的策略进行局部约束；成本的具体定义、约束阈值及优化流程尚未验证。 作者报告，在两个模型骨干、两个基准上，相较于文中所称的强分层基线，采用 Qwen3-0.6B 时，ALFWorld 与 WebShop 的成功率分别提升 8.1 和 7.9 个百分点；采用 Llama-3.2-1B-Instruct 时，分别提升 23.5 和 15.8 个百分点。摘要未提供基线名称、绝对成功率、训练与评估划分、重复运行次数或统计不确定性，不能据此判断跨模型收益差异的原因。 复现时需核对边界决策与子目标适用性的判定方式、约束成本是否依赖额外监督，以及保持其余学习信号不变的实现细节。实验协议、消融及统计信息尚未验证。本文证据限于语言智能体交互任务，尚不构成 EEG 或 BCI 有效性的证据；相关 EEG 工作尚未检索确认。