用于连续序列到序列建模的层级状态空间模型
Hierarchical State Space Models for Continuous Sequence-to-Sequence Modeling
基于摘要分析。该研究面向原始传感器序列到连续物理量序列的预测,例如由磁力计、压阻传感器或加速度计数据预测力与惯性测量量。作者提出 Hierarchical State-Space models(HiSS),通过堆叠结构化状态空间模型构建时间层级,以应对真实传感器的非线性、外部干扰、数据依赖漂移及标注数据有限等问题。 核心机制是以层级结构组织时间序列建模,而非仅使用单个序列模型。摘要没有给出层级间的时间分辨率、信息传递方式、具体损失或训练与推理设置,因此这些实现细节尚未验证。 作者报告,在六个真实传感器数据集上,任务覆盖触觉状态预测至基于加速度计的惯性测量,HiSS 相比 causal Transformers、LSTMs、S4 和 Mamba 等对照模型,MSE 至少降低 23%。该数值限于摘要所述传感器任务与对照背景;各数据集名称、划分、逐项结果和统计不确定性尚未验证。作者还报告模型在较小数据集上的表现具有优势,并可与现有数据滤波技术兼容;小数据规模及滤波对照细节尚未验证。摘要提供了代码、数据集与视频的项目入口,但其内容和复现条件尚未核查。 平台推测(待验证):若 EEG 任务具有连续目标标签,HiSS 的时间层级可能帮助同时表达较快信号变化与较慢状态变化,对应长时依赖和有限标注问题。可复用的是层级状态空间建模思路;需改造的是 EEG 多通道输入、目标定义及采样时间尺度。低信噪比可能使层级表示保留伪迹,跨被试差异、通道变化与小数据也可能削弱泛化;传感器预测优势不能直接视为 EEG/BCI 有效性。一个可检验的假设是:在同一具有连续标签的 EEG 数据上,固定预处理、训练数据量和模型容量,以被试内划分比较 HiSS 与单层状态空间模型的 MSE,并保持测试集不变考察减少训练数据后的变化。已有 EEG 相关工作尚未检索确认,实验协议、消融及统计信息尚未验证。
值得核对 HiSS 的时间层级构造及小标注数据实验:其针对非线性、干扰与漂移的连续传感器预测机制具有潜在 EEG 建模参考价值,但尚无材料验证其 BCI 效果。
来源:OpenReview · State space models · openreview.net