基于四元数状态空间模型的非阿贝尔状态跟踪
Non-Abelian State Tracking with Quaternionic State Space Models
基于摘要分析。本文主要研究语言建模与合成序列中的状态跟踪,针对复数对角状态空间模型(SSM)的转移受矩阵交换性限制的问题,提出四元数 SSM Icosian,以输入依赖的四维旋转实现非交换状态转移。 核心机制是利用四维旋转群 SO(4) 可由一对单位四元数参数化的结构,通过四元数算术进行递归更新,而不显式构造和组合旋转矩阵。其表达能力的关键在于更新顺序可以影响最终状态,区别于可交换的对角转移。摘要称该实现兼顾快速计算与数值稳定性;具体状态组织、输入到旋转参数的映射、训练目标及稳定性证据尚未验证。 作者报告,在 500M 至 3B 参数规模的语言建模评估中,Icosian 在多个随机种子下持续优于 Mamba-3、Gated DeltaNet 和 Gated DeltaProduct,且额外计算成本随规模增大而下降,在 3B 参数配置下为 3%。摘要未提供语言建模数据集、评估指标、具体得分及计算成本的测量口径,因此不能据此量化效果差距或推断实际部署吞吐。 在合成状态跟踪与回忆实验中,作者报告,单层 Icosian 能在非可解群 A5 上实现长度泛化,而更深模型还能跟踪从连续群 SO(3) 和 SO(4) 中均匀采样的旋转。该结果支持其对非交换状态演化的建模能力,但训练与测试序列长度、模型深度、对照配置、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务需要区分局部特征相似、但事件顺序不同的序列,非交换递归更新可能提供可检验的机制路径;这是假设,不是本文已证实的 BCI 效果。可复用四元数状态更新,需改造 EEG 输入编码和任务输出头,并明确序列标签与采样窗口。低信噪比、通道变化、跨被试差异及小数据可能使旋转参数学习不稳定,或使模型利用无关顺序线索。一个小实验是在固定 EEG 编码器与相同被试划分下,对比四元数更新和复数对角更新,并加入事件顺序扰动,检验收益是否确实与顺序建模有关。已有 EEG 相关工作尚未检索确认。
值得核对 Icosian 如何以四元数运算实现非交换状态更新,以及语言建模与群状态跟踪中的收益是否来自该机制;其 EEG/BCI 价值尚未验证。
来源:OpenReview · State space models · openreview.net