探索以说服:在潜在空间中学习自适应策略
Explore to Persuade: Learning Adaptive Strategies in Latent Space
基于摘要分析。本文研究多轮对话中的自适应说服:随着被说服者的立场与顾虑变化,如何修订策略,同时避免单路径 chain-of-thought(CoT)遗漏替代方案及显式多路径探索的额外成本。作者提出 Latent Strategy Exploration(LSE),在连续潜在空间中探索并学习由反馈条件化的说服策略,主要研究对象是对话生成,而非神经信号解码。 机制上,循环式 Mental State Network 表征演变中的对话状态,Strategy Network 将这些状态向量转换为指导回复生成的潜在策略;这里的“心理状态”是模型内部表征,不是直接测量的心理或神经状态。监督预热阶段利用辅助推理监督鼓励结构化潜在表征,并通过参考回复使其与说服性生成对齐。随后,离线 latent GRPO 通过高斯扰动探索多个策略向量,以 response-fit 和 state-utilization 奖励优化策略构建,不额外生成推理轨迹或对话续写。推理时,LSE 根据对话反馈更新潜在状态,为每次回复构建策略,无需显式生成 CoT。 作者报告,在多个骨干模型和评估器、不同领域的实验中,说服成功率有所提升;摘要未提供模型名称、数据集、划分、具体指标值及基线配置。作者初步估计训练时间约为 Golden GRPO 的六分之一,但硬件、训练规模与计时口径尚未验证,不能据此确定同等条件下的成本优势。实验协议、消融及统计信息尚未验证;复现还需核对奖励定义、扰动设置、状态更新方式和评估器可靠性。 平台推测(待验证):若用于具有明确轮次反馈的 BCI 交互,循环状态更新与潜在策略探索可能提供设计参考,但这是假设,不是本文验证结果。原方法依赖对话历史、辅助推理监督、参考回复及可计算奖励;迁移时需改造 EEG 观测编码、反馈定义与任务目标,而不能直接沿用说服目标。低信噪比、跨被试或通道差异、小数据及稀疏反馈可能造成状态估计与策略学习不稳定。一个可检验的小实验是在固定 EEG 解码器和同一数据划分下,对比固定反馈策略与潜在状态自适应策略,评估任务完成率及错误反馈敏感性。已有 EEG 相关工作尚未检索确认。
值得核对其通过连续潜在策略探索替代显式多路径推理的机制,以及说服成功率与训练成本的评估依据;其对 EEG/BCI 的适用性尚未验证。
来源:OpenReview · State space models · openreview.net