扩展 LLM 的动作空间以实现超越语言的推理

基于摘要分析。本文研究 LLM 与符号算子、模拟器等外部环境交互时，语言输出同时承担推理与控制职责、并依赖外部手工解析器的问题。作者提出 Expanded Action space（ExpA），将环境交互纳入词表之外的动作空间，并通过 ExpA Reinforcement Learning（EARL）训练模型探索这些动作与环境。 核心机制是显式区分语言环境与外部环境：模型从语言环境开始推理，可通过路由动作切换到外部环境；进入后只能调用该环境特定的动作、接收反馈，并可能由交互结果触发返回语言环境。相较于将工具调用编码为规定格式的文本再解析，这一设计试图在动作层面分离语言推理与环境控制。EARL 引入反事实策略优化，但具体目标函数、反事实构造方式、动作表示及训练流程尚未验证。 作者报告，在需要多轮交互和条件规划的任务上，EARL 优于动作受词表约束的强基线；在基于计算器的多任务学习中表现稳健。在部分可观测排序问题中，作者报告达到完美的 Sort-4 Accuracy，并自主发现了效率可与经典设计竞争的算法。摘要未提供基线名称、数据划分、训练规模、其他任务的具体指标或算法效率的衡量方式，实验协议、消融及统计信息尚未验证。 研究对象是 LLM 的工具交互与规划，而非神经信号解码。现有材料未提供 EEG/BCI 数据或验证，也未建立与具体 BCI 瓶颈的机制对应关系，因此不据此推导神经信号建模收益或提出迁移复现实验。复现原方法仍需核对完整动作接口、环境反馈规则、EARL 实现与评估协议。