状态空间语言模型的增量可验证推理
Incremental Verifiable Inference for State-Space Language Models
基于摘要分析。研究针对远程 LLM 服务中用户难以核实服务方是否忠实执行所宣称模型的问题,提出 MProof,用于亿级参数状态空间语言模型端到端自回归推理的增量证明。其贡献是随着生成推进扩展已有证明,而不重新执行此前的模型计算。 核心机制结合状态空间模型的两种结构:递归状态大小不随序列长度增长,因此可作为相邻计算块之间的紧凑接口;state-space duality(SSD)将块内计算表示为可并行的矩阵运算。MProof 利用这些结构联合验证已完成的块,使长序列证明可以逐步累积。摘要未说明具体证明协议、安全假设、数值表示,以及自回归生成各环节的证明覆盖边界,这些内容尚未验证。 作者报告,在 187M 参数的 Mamba-3 模型上,使用每块 128 tokens 的配置,证明 4,096 tokens 需要 22.85 分钟,预准备验证(prepared verification)需要 0.451 秒。作者还报告,在序列长度增加至 16 倍的比较中,总证明时间增加至 13.6 倍,预准备验证始终低于 0.5 秒,密码学证明大小不变;摘要未提供该比较的序列长度端点、硬件和预处理成本,因此不能直接外推至其他部署配置。 该工作验证的是模型执行忠实性,不等同于验证生成内容正确,也不是 EEG 或 BCI 解码方法。作者提供了代码地址,但代码可运行性、实验协议、消融及统计信息尚未验证。复现时需核对证明生成与预准备验证的计时边界、预处理开销、内存需求,以及模型计算的数值语义和证明覆盖范围。现有材料不足以建立具体的 EEG 迁移路径,尚未检索确认相关 EEG 工作。
值得阅读的是其利用固定大小递归状态与 state-space duality 将长序列推理拆为可增量验证的块,但作者报告的效率仅针对所述 Mamba-3 配置,证明覆盖范围与预处理成本尚待全文核对。
来源:OpenReview · State space models · openreview.net