跳到正文
OpenReview · State space models·· 28 天前精选AI 评分83

状态依赖去噪何时保持其目标分布?

When Does State-Dependent Denoising Preserve Its Target?

AI 导读

基于摘要分析。本文研究扩散语言模型根据当前状态选择揭示、修订或重新掩码 token 时,局部条件更新正确为何仍可能导致最终序列分布偏离目标。作者将其形式化为目标分布输运问题,分别刻画单调生成与可修订生成的分布保持条件,并区分路由误差与块近似误差。 对于单调生成,作者提出:可预测地选择精确单 token 条件分布或联合块条件分布进行更新,可以保持目标分布;若对块内 token 独立并行更新,则只有在所选条件分布可因子分解时才精确。对于可修订生成,作者给出的条件是:由目标可逆核组成的状态依赖混合,恰在其选择器交换子为零时保持目标分布。针对任意正值选择器,作者提出 action-ratio 接受规则,在分量核可逆的前提下恢复不变性,但该规则不消除块内因子分解误差。 作者报告,精确有限系统验证了相关恒等式,在不满足目标保持条件的设置中,总变差偏差最高达到 0.79;这一数值对应有限系统实验,不能视为语言模型上的通用误差幅度。作者还报告,归一化神经语言目标上的实验复现了两类误差的区分;使用冻结 LLaDA 与 Dream 的实验显示,终点分布偏离随修订时域、选择器集中程度及重新掩码宽度增加,而状态无关对照保持匹配。具体评估规模、分布偏离的测量协议、消融及统计信息尚未验证。 本文的主要对象是扩散语言模型的采样分布正确性,而非 EEG/BCI 解码。其理论适用性取决于精确条件分布、分量核可逆性及选择器等假设是否成立;摘要不足以确认这些条件在实际模型中的满足程度。现有材料不支持将其直接视为 BCI 算法改进,相关 EEG 工作尚未检索确认。

阅读价值

该研究将自适应去噪中的状态依赖路由误差与块内独立近似误差分开,并给出目标分布保持条件及接受规则,值得核对其理论假设和精确有限系统验证。

来源:OpenReview · State space models · openreview.net