跳到正文
OpenReview · Representation learning· Luxuan Wang; Lei Bai; Ziyue Li; Rui Zhao; Fugee Tsung·· 2023-01-01精选AI 评分75

通过时空自举进行相关时间序列的自监督表征学习

Correlated Time Series Self-Supervised Representation Learning via Spatiotemporal Bootstrapping

AI 导读

基于摘要分析。本文研究具有实例间关联的大规模时间序列如何学习可供下游任务使用的表征,提出通过自举式时空表征预测,为各实例学习时间步级表征的自监督框架。原论文主要面向相关时间序列预测,以及将预测模型迁移到数据有限的新实例,并非 EEG 或 BCI 研究。 技术机制:框架以时空表征预测作为学习机制,摘要描述的评估方式是在所学表征之上训练线性回归模型。这有助于考察表征对预测任务的直接支持程度,但具体自举目标、实例间关联的构建方式、损失函数、训练与推理流程尚未验证,不能据此推定网络结构或教师更新机制。 结果:作者报告,在 PeMS-BAY 的相关时间序列预测评估中,相较表征学习模型,RMSE、MAE 和 MAPE 分别降低 37%、49% 和 48%;这些是误差的相对降幅,不是百分点变化。摘要未明确对应基线、预测时距及数据划分,不能推广为所有协议下的优势。作者还报告,在真实地铁客流数据的新实例冷启动预测中取得 15%、19% 和 18% 的收益,但摘要未明确这些数值的指标对应关系及计算方式。实验协议、消融及统计信息尚未验证。摘要给出代码计划发布的仓库地址,当前可用性及复现条件尚未核实。 平台推测(待验证):假设 EEG 通道间相关性能够提供稳定的自监督信号,时间步级时空预测机制可能用于 EEG 表征预训练。可复用的是表征预测思路;需改造的是通道空间关系、采样尺度及冷启动实例定义,不能直接把新传感器迁移等同于跨被试迁移。低信噪比、伪迹诱导的相关性、跨被试差异、通道布局变化和小数据均可能使该假设失败。一个可检验的小实验是在固定 EEG 训练划分下,比较保留与打乱通道对应关系的预训练,再以相同线性评估协议检查表征收益是否依赖真实空间关系。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其时间步级时空自举表征能否支持数据有限的新实例预测,尤其需验证冷启动划分、实例间关联的利用方式及相对表征学习基线的收益。

来源:OpenReview · Representation learning · openreview.net