并行扫描下与序列长度无关的状态跟踪
Length-Independent State Tracking Under a Parallel Scan
基于摘要分析。本文研究有限精度计算下的有限状态跟踪:线性 RNN、linear attention 与 state space models 虽能通过仿射递推支持并行训练,但理想算术下的表达能力保证未必适用于会引入数值扰动的 parallel scan。作者提出 Neural Finite-State Machine(NFSM),旨在以不随序列长度增长的精度成本,在任意序列长度下保持正确跟踪。 核心机制是协调同一更新映射中的两种动力学:以收缩抑制数值扰动,同时以分离保持不同状态可区分。作者证明,在论文所形式化的有限精度框架下,仿射递推至多实现 definite automata;摘要将其局限归因于每一步只有单一变化率承担上述两种作用。NFSM 则采用非仿射、兼容并行扫描的 RNN,将扫描兼容性重新解释为计算预算,而非对更新映射形式的限制。具体更新公式、并行计算代价及定理假设尚未验证。 作者报告,在覆盖交换群、非交换群、不可逆幺半群的合成基准及文本状态跟踪任务中,仿射基线在所有非 definite 任务上均失败,多数在几百步内失败。作者报告,单层 NFSM 学会了每个代数任务的精确转移表,因此可认证其在超过测试长度时的正确性;堆叠 NFSM 在文本任务的所有已测试长度上保持完全正确。转移表认证与文本任务的有限长度测试是不同证据,不能将后者外推为任意长度保证。基线配置、数值精度、训练与测试划分、长度范围、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 系统包含离散事件驱动的有限状态协议跟踪,NFSM 的潜在复用对象是事件解码之后的状态更新模块,而非原始 EEG 特征提取器。该假设依赖可靠的离散事件输入;低信噪比、跨被试变化和通道差异引起的事件识别错误,并不等同于论文处理的数值扰动。可先固定事件解码器,在相同精度与训练长度下比较 NFSM 和仿射递推的长序列状态正确率,再加入事件误识别检验鲁棒性。已有 EEG 相关工作尚未检索确认。
值得阅读其对有限精度下仿射递推表达能力边界的刻画,以及 NFSM 如何同时实现扰动收缩与状态分离;这些结论针对有限状态跟踪,尚不能视为 EEG 或 BCI 性能证据。
来源:OpenReview · State space models · openreview.net