跳到正文
OpenReview · State space models·· 25 天前精选AI 评分76

从潜在空间与数据视角重新审视时间序列预测中的嵌入

Revisiting Embeddings in Time Series Forecasting from Latent Space and Data Perspective

AI 导读

基于摘要分析。本文研究时间序列预测中嵌入的有效性,重点区分直接映射与高阶交互的作用,并联合分析数据特征、嵌入视图和编码器架构。其贡献是将嵌入选择与表示演化联系起来,并提出在目标模型训练前选择嵌入—编码器组合的多尺度数据秩规则。 作者通过大规模超参数探索和评估理论分析报告:缺少高阶交互时,嵌入模型往往退化为简单线性映射;存在高阶交互时,嵌入对数据特征的敏感性及其表现随编码器架构变化,因此不宜脱离交互机制单独研究嵌入。预测比较覆盖注意力、MLP mixing、循环、状态空间、频域和卷积编码器;谱分析与冻结线性探针分析涉及 MLPMixer、Transformer、GRU、Mamba 和 FFT。摘要未明确各类嵌入视图及高阶交互的具体构造。 作者报告,在固定预算的探针评估中,编码器输出在 98 个配置中的 72 个降低了读出误差,收益随数据集和 token 视图而变化;多尺度数据秩规则在留一数据集校准条件下,恢复了六个由源数据得到的参考选择。上述结果不能替代完整预测性能比较:数据集名称、配置构成、误差指标、收益幅度、参考选择定义,以及校准与目标训练的边界尚未验证。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 预测任务的通道或时间组织方式与本文嵌入视图存在对应关系,可检验“数据结构与编码器共同决定嵌入效果”的假设;这不是已证实的 BCI 解码结论。可复用谱分析和冻结探针框架,但需适配 EEG 通道布局、采样尺度及预测目标。低信噪比、跨被试差异和小数据可能使秩估计不稳定。一个小规模可证伪实验是:在固定 EEG 预测任务、被试内划分和训练预算下,对比预先指定的嵌入—编码器组合与仅由训练数据秩选出的组合,检查选择规则能否稳定降低同一预测误差。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其将嵌入视图、高阶交互与数据秩联合分析的证据,以及训练前选择嵌入—编码器组合的可复现性;摘要尚不支持将其结论直接推广到 EEG。

来源:OpenReview · State space models · openreview.net