跳到正文
OpenReview · State space models· Raunaq Bhirangi; Chenyu Wang; Venkatesh Pattabiraman; Carmel Majidi; Abhinav Gupta; Tess Hellebrekers; Lerrel Pinto·· 2024-06-19精选AI 评分77

用于连续序列到序列建模的层级状态空间模型

Hierarchical State Space Models for Continuous Sequence-to-Sequence Modeling

AI 导读

基于摘要分析。本文研究如何从长序列原始传感器数据预测连续物理量序列,提出 Hierarchical State-Space models(HiSS),通过堆叠结构化状态空间模型建立时间层级。主要研究对象是真实传感器的连续预测,包括触觉状态预测和基于加速度计的惯性测量,而非 EEG 解码或 BCI。 机制与贡献:作者针对传感器非线性、振动等外部干扰、数据依赖的漂移,以及高成本真值采集造成的标注数据有限问题,采用层级化序列建模。摘要明确的机制是结构化状态空间模型的堆叠;各层时间尺度如何形成、层间信息如何传递、具体损失与训练方式尚未验证,不能据此推断网络层数或参数规模。 结果与复现:作者报告,在六个真实传感器数据集上,相较 causal Transformers、LSTMs、S4 和 Mamba 等序列模型,HiSS 的 MSE 至少降低 23%。该数字属于这些传感器连续预测任务,摘要未提供各数据集名称、划分、基线配置及逐项结果,不能解释为 EEG 或跨被试性能。作者还报告 HiSS 在更小数据集上具有良好的扩展表现,并兼容已有数据滤波技术;具体实验协议、消融及统计信息尚未验证。摘要称项目页面提供代码、数据集和视频,其可用性与复现细节尚未核验。 平台推测(待验证):若 EEG 任务需要从连续信号回归连续目标,时间层级可能用于整合不同尺度的动态信息,但原领域有效不等于 BCI 有效。可考虑复用层级状态空间骨架,改造多通道输入、时间对齐和任务输出;低信噪比、通道差异、跨被试分布变化及小样本训练可能使收益消失。一个可检验的小实验是在具有连续目标的 EEG 数据上固定被试内划分、滤波流程和训练预算,比较 HiSS 与单层状态空间基线的 MSE,再逐步减少训练数据以检验层级设计的收益。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 HiSS 的时间层级设计及小样本评估,因为作者报告其在真实传感器连续预测中优于多类序列基线,但其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net