Rollout-Time Intervention：突破策略能力边界的智能体强化学习

基于摘要分析。本文研究 LLM 智能体强化学习中，任务超出当前策略能力时成功轨迹稀疏、训练容易崩溃的问题，提出 Rollout-Time Intervention（RTI）：在 rollout 期间利用奖励侧证据，即评估准则，干预错误轨迹以获得成功轨迹，为策略难以自主解决的任务提供学习信号。 核心机制是扩大有效训练轨迹的来源，而非仅依赖当前策略的自主探索。干预轨迹具有离策略属性；作者提出过滤分布偏移过大的轨迹，再用保留轨迹指导策略优化。摘要未说明干预的具体操作、分布偏移的度量与阈值、策略优化目标，以及评估准则在训练与推理阶段的可用范围，这些均需正文核对。 作者报告，在五个基准上的实验中，RTI 持续优于所比较的 RL 基线，后训练策略的表现接近明显更强的同期 LLM，并突破原始策略的能力边界。摘要未列出基准名称、具体指标、提升幅度或基线配置，因此尚不能判断收益的任务覆盖范围及比较条件。实验协议、消融及统计信息尚未验证；作者提供了代码链接，但实现与复现条件尚未核验。 本文主要对象是交互环境中的 LLM 智能体，并非 EEG 解码或 BCI。其机制依赖可用于干预的评估准则和可筛选的交互轨迹，当前材料没有建立这些条件与神经信号任务的具体对应关系，因此不将其结果外推为 BCI 有效性证据；相关 EEG 工作尚未检索确认。