跳到正文
OpenReview · State space models· Zhen Qin; Xuyang Shen; Dong Li; Weigao Sun; Stan Birchfield; Richard I. Hartley; Yiran Zhong·· 2024-01-01精选AI 评分75

从统一视角揭示线性复杂度序列模型的机制

Unlocking the Secrets of Linear Complexity Sequence Model from A Unified Perspective

AI 导读

基于摘要分析。本文研究不同线性复杂度序列建模方法之间的共同机制,提出 Linear Complexity Sequence Model(LCSM)统一框架,将 linear attention、state space model、long convolution 和 linear RNN 纳入同一分析视角。主要贡献是以三阶段分解比较各类模型的组件设置及其任务表现,而非在摘要中确立某一种模型的普遍优势。 核心机制:框架将建模过程划分为 Expand、Oscillation 和 Shrink(EOS)。Expand 将输入信号投影到高维记忆状态;Oscillation 对记忆状态执行递归操作;Shrink 再将记忆状态投影回低维空间。不同模型对应不同阶段设置。摘要未提供这些操作的具体方程、参数化方式、损失或训练细节,不能据此推断各模型在数学上完全等价。 结果与证据边界:作者报告,在语言建模和检索任务中比较不同阶段设置后,数据驱动方法对语言建模中的三个阶段有效性至关重要,而手工设计方法在检索任务中表现更好。摘要未给出数据集、评价指标、性能数值、数据划分或对照配置,因此该结论应限定于文中所评估的任务与设置;实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设 EOS 分解能够用于分析 EEG 长序列建模中输入映射、时序记忆更新与输出读出的作用,线性复杂度计算结构也可能对应长时间窗处理的计算瓶颈。可复用的是阶段化分析思路;需改造的是多通道输入表示及 EEG 任务读出。原文证据依赖语言建模和检索任务,其数据结构、监督方式与规模尚未明确,不能直接迁移结果。低信噪比、通道变化、被试差异与小数据可能使高维记忆保留噪声或学习被试特异模式。一个可检验的小实验是在固定 EEG 数据划分和相近参数预算下,仅替换一个阶段的数据驱动与手工设计设置,比较相同指标及计算开销,并分别报告被试内与跨被试结果。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其以 Expand、Oscillation、Shrink 三阶段统一分析线性复杂度序列模型的机制视角,以及作者报告的语言建模与检索任务对数据驱动和手工设计设置的不同偏好,但其对 EEG 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net