暗中探索：通过潜在空间中的测试时实例级策略梯度进行推理

基于摘要分析。本文研究大语言模型（LLMs）的推理能力提升，提出 LatentSeek：在测试时对单个实例的潜在表示进行适应，而非仅在 token 空间增加推理计算。其核心贡献是将策略梯度用于潜在空间中的迭代更新，以探索测试时计算扩展的另一条路径。 机制上，LatentSeek 采用 Test-Time Instance-level Adaptation（TTIA），通过自生成奖励信号引导策略梯度，逐步调整潜在表示。摘要将这一方向置于无需更新模型参数的测试时扩展背景下，但未说明潜在表示的具体位置、优化变量、策略梯度估计方式及奖励构造；这些细节尚未验证，不能等同于常规参数微调。 评估方面，作者报告在多个 LLM 架构上，使用 GSM8K、MATH-500 和 AIME2024 等推理基准进行测试，LatentSeek 的表现持续优于 Chain-of-Thought prompting 及基于微调的方法。摘要未提供具体模型、分数、数据划分或对照计算预算，因此尚不能量化收益或判断各方法的计算效率差异。作者还报告，平均复杂度问题通常在少量迭代内收敛，增加迭代仍可带来收益；迭代次数、收敛标准及时间开销尚未验证。 复现时需核对潜在表示的更新接口、自生成奖励是否需要额外模型或验证器、停止条件，以及等计算预算下的比较。实验协议、消融及统计信息尚未验证。本文主要对象是 LLM 推理，并非 EEG 解码或 BCI；摘要不足以建立其奖励机制与神经信号任务的具体对应关系，暂不提出迁移实验，已有 EEG 相关工作亦尚未检索确认。