跳到正文
arXiv · 时序与音频基础模型· Felix Oury; Nicolas Calvo Peiro; Reiko J. Tanaka·· 5 天前精选AI 评分76

LogSig-SSM:面向状态空间模型的多尺度 log-signature 压缩时序建模

LogSig-SSM: Time-Series Modelling with Multi-Scale Log-Signature Compression for State-Space Models

AI 导读

基于摘要分析。LogSig-SSM 针对高频、不规则采样且具有长程依赖的多变量时序,先以多尺度窗口化 log-signature 将长序列压缩为较短的 token 序列,再用选择性状态空间模型(SSM)建模长程依赖,旨在兼顾连续时间方法的输入表征能力与 SSM 的计算效率。 核心机制是由 log-signature token 表征高阶跨通道交互,再交由选择性 SSM 骨干处理。作者将其定位为对 NCDE、NRDE 长序列扩展成本,以及 Mamba 单个模块内隐维度间递归混合受限问题的回应。摘要还给出连续时间解释:模型可视为由 log-signature 输入驱动的 NCDE/NRDE 风格系统,选择性机制对应潜在动力学的输入依赖重缩放。窗口尺度、log-signature 截断阶数、损失、训练配置及具体骨干实现尚未验证。 作者报告,在 UEA 长序列分类、PPG-DaLiA 高频生理信号回归、多变量天气预测及 PhysioNet Sepsis 不规则采样临床预测四类基准上,LogSig-SSM 优于或匹配较强的 SSM 与连续时间基线;在最长序列上,相比 Mamba,训练速度最高提升至 30 倍,GPU 显存用量最高减少 37 倍。摘要未明确这些效率极值分别对应哪个基准、硬件与配置,也未提供各任务指标、数据划分或不确定性;实验协议、消融及统计信息尚未验证,不能据此认定所有任务均有同等收益。 平台推测(待验证):迁移假设是,EEG 长序列中的跨通道交互可由窗口化 log-signature 保留,并在压缩后供 SSM 利用。可复用压缩与序列建模思路,但需适配 EEG 通道排列、时间编码及窗口尺度;低信噪比可能使高阶交互放大噪声,通道变化和跨被试差异可能削弱表征稳定性,小数据也可能限制学习。一个可证伪的小实验是在固定 Cross-subject 划分、预处理与训练预算下,对比原始 EEG 输入的 Mamba 与 LogSig-SSM,同时记录分类指标、训练耗时和峰值显存,并改变窗口尺度检验是否牺牲任务信息。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对多尺度 log-signature 压缩能否在保留跨通道交互的同时降低长序列建模成本;摘要中的效率优势有明确比较对象,但具体协议及向 EEG 的迁移效果尚未验证。

来源:arXiv · 时序与音频基础模型 · arxiv.org