跳到正文
arXiv · 学习目标与优化· Xiahui Zhu; Zhenyi Qi; Wanwei Liu; Haoang Chi; Yang Tan; Xinyu Sun; Ji Wang·· 5 天前AI 评分60

将自回归解码视为鞅:刻画 LLM 生成的随机动力学

Autoregressive Decoding as a Martingale: Characterizing the Stochastic Dynamics of LLM Generation

AI 导读

基于摘要分析。本文研究自回归 LLM 解码的随机动力学,将逐步采样误差构造成鞅,并尝试用二阶统计量连接生成序列的波动与模型预测不确定性;主要研究对象是语言模型生成过程,而非 EEG 或 BCI。 作者将每步预测误差定义为采样 token 的指示变量与模型条件预测分布之差,并证明其累积过程相对于解码信息流构成鞅,意味着相应条件一阶矩为零。这是对模型自身采样过程的概率性质描述,不能据此推断模型输出在事实或任务层面无偏、正确。 在二阶分析中,作者报告可预测二次变差可化为 ∑ₜ(1−p(yₜ|y₍<ₜ₎)),并可仅根据实际生成 token 的概率计算。该恒等式所涉及的误差表示、二次变差定义及成立条件,需要结合全文核对,不能仅凭摘要将其推广至任意解码策略。 作者报告,在 Llama-3.x 与 Qwen2.5 系列、参数规模为 1B 至 72B 的模型上,白盒实验测得的二阶矩与理论预测接近。摘要未提供具体提示数据、采样配置、重复次数、偏差指标及统计区间,实验协议、消融及统计信息尚未验证。 作者将该框架定位为分析模型概率特征、生成文本检测及不确定性量化的理论基础;摘要并未给出文本检测或不确定性校准的任务级效果,不能把理论联系视为应用性能已获验证。材料未建立与神经信号建模的具体机制对应,因此不据此推导 EEG/BCI 迁移效果或复现实验建议。

来源:arXiv · 学习目标与优化 · arxiv.org