跳到正文
OpenReview · State space models·· 2025-05-20AI 评分69

TS4:张量化结构化状态空间序列模型

TS4: Tensorized Structured State Space Sequence Models

AI 导读

基于摘要分析。本文研究通用序列模型潜在空间的压缩问题,借鉴量子力学中矩阵乘积态的时间演化研究,将张量化方法引入结构化状态空间序列模型 S4,提出称为 TS4 的张量化序列模型,并在张量化框架下对 S4 参数施加不同结构约束,构造新的结构化序列模型类别。 核心机制:作者强调,S4 类模型区别于传统门控 RNN 的一个性质,是每个时间步的输出对潜在状态向量具有线性依赖;即使引入输入依赖的选择机制,其潜在状态演化仍涉及线性运算。这里的线性性质针对潜在状态,不宜扩大为整个输入到输出映射必然线性。本文围绕这一结构开展张量化压缩,而非摘要中已经验证的 EEG 解码方法。 证据边界:摘要未提供具体张量分解形式、参数约束、压缩率、计算成本或任务评估结果,也未说明数据集、训练规模和监督方式。因此尚不能判断 TS4 相对 S4 或 transformer 的性能与效率权衡;实验协议、消融及统计信息尚未验证,具体实现与复现条件也需查阅全文。 平台推测(待验证):若张量化能够在压缩潜在状态的同时保留长序列信息,可能对应 EEG 长时序建模中的状态存储与计算开销问题。可考虑复用张量化状态表示及参数约束,但输入编码、通道组织和任务输出需针对 EEG 改造。过强的压缩约束可能损失低信噪比信号中的弱判别成分,通道变化、跨被试差异及小数据训练也可能使收益不稳定。一个可检验的小实验是在同一 EEG 任务、相同数据划分和训练预算下比较 S4 与 TS4,分别核对任务指标、状态存储和推理开销,检验压缩是否以性能下降为代价。该设想并非论文已报告结果;已有 EEG 相关工作尚未检索确认。

来源:OpenReview · State space models · openreview.net