跳到正文
OpenReview · Representation learning· Peisong Niu; Tian Zhou; Xue Wang; Liang Sun; Rong Jin·· 2024-01-01精选AI 评分74

将注意力作为时间序列预测的鲁棒表征

Attention as Robust Representation for Time Series Forecasting

AI 导读

基于摘要分析。本文研究含噪声和非平稳性的时间序列预测,将注意力权重从融合嵌入时的附属产物提升为主要数据表征。核心贡献是利用全局地标(global landmarks)与局部窗口构建 attention map,以数据点之间的时间关系形成鲁棒核表征,而非仅依赖注意力加权后的嵌入。 机制上,作者将这种 attention map 描述为可抵抗噪声和分布偏移的表征,并提出用它替换 Transformer 模型中近期采用的基于 patching 的嵌入方案,无需改变核心神经网络架构。摘要未说明全局地标如何选取、局部窗口如何设置、核表征如何接入预测器,以及具体损失与训练流程。 作者报告,在多变量时间序列预测任务中,相较其所比较的先进模型,MSE 降低 3.6%。摘要未提供数据集、预测长度、数据划分、具体基线及结果汇总方式,因此该数值仅能作为作者报告的总体结果,不能外推至其他协议。实验协议、消融及统计信息尚未验证。 平台推测(待验证):其时间关系表征可能对应 EEG 中噪声与跨会话分布变化的问题,但原文主要研究对象是通用时间序列预测,并非 EEG 或 BCI。可复用部分是 attention map 的表征思路;需改造或核对的部分包括 EEG 通道组织、时间尺度及预测目标与下游解码目标的衔接。低信噪比可能使注意力关系不稳定,跨被试差异、通道变化与小数据也可能限制效果。一个可检验的假设是:在固定 EEG 预测器、训练划分和参数预算下,以该表征替换 patching 嵌入,能否在受控噪声扰动及跨会话测试中降低预测 MSE;该实验不能直接证明 BCI 解码收益。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其将注意力权重本身作为抗噪与分布偏移表征的机制,以及替换 patching 嵌入而不改变核心网络架构的可插拔思路,但具体对照协议与 EEG 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net