通过迭代潜在空间策略优化学习 Werewolf 游戏中的策略型语言智能体

基于摘要分析。研究针对 Werewolf 等策略型语言游戏中，LLM 智能体既需进行策略决策、又需自由语言交互的问题，提出 Latent Space Policy Optimization（LSPO）。其核心贡献是把自由文本映射到有限潜在策略空间，在该空间优化策略，再通过 LLM 微调将策略落实到语言行为，而非直接在庞大的文本动作空间中探索。 作者将现有智能体的困难归因于动作分布的内在偏置和对无界文本动作空间探索不足。LSPO 首先将自由表达映射为有限的潜在策略，构建抽象扩展式博弈；随后采用 Counterfactual Regret Minimization（CFR，反事实遗憾最小化）等博弈论方法优化潜在空间策略；最后通过 Direct Preference Optimization（DPO，直接偏好优化）微调 LLM，使其与学得的策略对齐。框架迭代交替执行这些步骤，利用“语言空间巨大、底层策略空间相对紧凑”的结构降低策略搜索难度。 作者报告，在 Werewolf 游戏实验中，LSPO 智能体随迭代扩展策略空间并改善表现，且优于现有 Werewolf 智能体。摘要未提供具体性能指标、对照方法、游戏规则与角色配置，也未说明训练及评估划分，因此不能量化提升或判断其跨设置泛化能力。 复现时需核对潜在策略的构建和扩展机制、文本与策略之间的映射方式、CFR 所依赖的博弈抽象，以及 DPO 偏好数据如何由优化后的策略产生。这些细节决定策略抽象能否保留关键交互信息，以及策略改进能否可靠转化为语言行为；实验协议、消融及统计信息尚未验证。 该研究的主要对象是语言游戏智能体，并非 EEG 解码或 BCI。材料未给出神经信号任务与潜在策略优化之间的具体机制对应，因而不据此推断 BCI 有效性，也不提出 EEG 迁移实验；已有 EEG 相关工作尚未检索确认。