跳到正文
OpenReview · State space models·· 27 天前精选AI 评分78

混合循环语言模型中的接收端条件化状态重建

Receiver-Conditioned State Reconstruction in Hybrid Recurrent Language Models

AI 导读

基于摘要分析。本文研究混合循环语言模型在计算多个候选分支后,如何减少分支内部状态的存储与传输成本。核心思路是保留一个已完成分支的状态,以其作为其他已计算分支的参考,通过紧凑记录恢复最终选中的分支,而不必保留这些分支共同的起始状态。 理论部分针对固定仿射分支映射,分析重建所缺失的信息,以及限制误差放大所需的校正。对于较短的 Gated DeltaNet 分支,作者采用 decay matching,将循环状态表示为缩放后的兄弟分支状态与紧凑残差之和;另存无损逐位修复记录,以纠正数值差异并精确恢复原生状态。这一区分很重要:紧凑表示负责减少记录体积,逐位修复负责消除数值重建偏差,不能将其概括为仅靠近似残差即可无损恢复。 作者报告,在 Qwen3.5-4B 上、同一运行时条件下,修复后的记录在全部 64 个评估端点均复现了原生缓存的比特、重新计算的 logits 及 128-token 续写。在另一项涉及 48 个短端点的比较中,配对字节比率的中位数相对于 canonical lossless Full 为 29.1%,相对于直接对兄弟分支状态执行 exclusive OR(XOR)的记录为 30.1%;这些数值是相应端点与基线下的记录体积比率,不代表整体推理加速。 端点构造、分支长度、完整存储核算、修复计算成本、跨运行时可复现性以及实验协议、消融及统计信息尚未验证。研究对象是语言模型的内部循环状态与分支缓存,并非 EEG 信号或 BCI 解码;材料尚不足以支持其对 EEG/BCI 的有效性推断。

阅读价值

值得核对其利用已完成兄弟分支状态压缩候选分支记录、再以无损修复恢复原生状态的机制,尤其是精确恢复所依赖的运行时条件与修复记录的存储开销。

来源:OpenReview · State space models · openreview.net