跳到正文
OpenReview · State space models·· 2026-09-11精选AI 评分81

Rotary-state Gated DeltaNet:通过旋转增强状态追踪

Rotary-state Gated DeltaNet: Enhancing State Tracking through Rotation

AI 导读

基于摘要分析。本文研究高效递归模型的状态追踪与序列表达能力,提出 Rotary-state Gated DeltaNet(Rose-GDN):在 Gated DeltaNet 中引入输入依赖的块对角旋转,将旋转动力学加入 generalized-Householder 状态转移,同时不要求每个 token 执行多次 delta 更新。 机制与理论:作者报告,该设计保留固定大小记忆、线性时间递归与精确的分块并行计算。在精确算术前提下,作者给出单层 Rose-GDN 可追踪任意有限阿贝尔群的理论结论;增加深度后可扩展至所有有限可解群,有限深度模型可识别所有正则语言。这些结论限定于所述理论条件,不能直接等同于有限精度训练后模型的实际能力。 实验:作者报告,Rose-GDN 在状态追踪和长上下文检索任务上取得改进,在语言建模与常识推理基准上与强递归基线保持竞争力。摘要未提供具体数据集、评估划分、基线配置或数值,增益幅度、计算成本、实验协议、消融及统计信息尚未验证。 平台推测(待验证):其旋转状态转移与固定大小递归记忆,可能为 EEG 长序列中周期性动态的建模提供候选机制,但语言及符号序列中的有效性不代表 EEG/BCI 有效。可复用部分是递归状态更新;输入编码、通道融合与监督目标需要适配 EEG。低信噪比、跨被试差异及小数据可能使输入依赖旋转难以稳定学习。一个可检验的假设是:在相同 EEG 编码器、训练预算和被试内划分下,仅加入旋转机制能否相对 Gated DeltaNet 提升同一任务指标,并在噪声扰动下保持收益。相关 EEG 工作尚未检索确认。

阅读价值

值得关注输入依赖旋转如何扩展 delta-rule 递归记忆的状态追踪能力,并核对其精确算术表达能力结论与实际有限精度、长上下文实验之间的对应关系;EEG/BCI 价值尚未验证。

来源:OpenReview · State space models · openreview.net