AdaExploreBench：演化环境中 LLM agent 主动探索与测试时自适应的基准评估

AdaExploreBench 面向陌生且持续演化的环境，评估 LLM agent 能否主动探索环境规律，并在规律变化后重新适应。其核心贡献是将环境动态设为隐藏规则，使评估不仅考察已有证据上的推理，也考察证据获取及知识失效后的更新。基于摘要分析，未取得论文全文。 机制上，agent 需要主动收集证据并推断隐藏规则；在隐式规则漂移条件下，规则改变不会被直接告知，agent 必须从表现下降中识别原有知识已过时，并重新探索。这里的测试时自适应体现为环境交互中的规则识别与行为调整，摘要未说明是否涉及模型参数更新，不能等同于参数层面的自适应训练。 作者报告，在八个 LLM 的实验中，GPT-6 Sol 的 calibrated accuracy 为 61.9%；提供充分证据或移除规则漂移后，平均表现显著改善，摘要表述为接近 10%，但未明确是相对百分比还是百分点，也未分别给出两种条件的完整结果。作者据此认为，当前 agent 在获得有效证据后往往能够推理，但主动获取合适证据、识别旧证据失效仍是瓶颈。calibrated accuracy 的定义、环境与任务构成、交互预算、数据划分、漂移设置、消融及统计信息尚未验证。 平台推测（待验证）：其“主动取证—识别失效—重新探索”的评估思路，可能为交互式 BCI 中的校准与漂移检测提供概念参考，但原研究对象是 LLM agent，并未提供 EEG 或 BCI 验证。该机制依赖可交互环境、可获得的反馈及足以推断规则的证据；迁移时需将隐藏规则和反馈改造为可测量的信号变化与任务表现，并控制探索成本。低信噪比、跨被试或通道变化、小样本可能使随机波动与真实漂移难以区分。一个可检验的假设是在固定 EEG 解码器与校准预算下，比较固定周期重校准和基于表现下降触发的重校准，检验后者能否减少校准次数而不降低任务指标；该设想并非本文已验证结果，相关 EEG 工作尚未检索确认。