Multi-Patch Prediction:将 LLMs 适配于时间序列表征学习
Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning
基于摘要分析。本文研究如何将 LLMs 适配于时间序列表征学习,提出 aLLM4TS,将时间序列预测重构为自监督多 patch 预测任务,以学习时间动态及可迁移表征;主要研究对象是通用时间序列,而非专门的 EEG 或 BCI。 方法采用两阶段训练:先在多个时间序列数据集上,以预测下一个 patch 为任务开展因果持续预训练,再面向目标时间序列场景进行多 patch 预测微调。其 patch-wise decoding layer 将各个 patch 分别映射为时间序列片段,区别于依赖序列级解码的方案。摘要未提供 LLM 骨干、patch 划分、损失函数、参数更新范围及训练规模,相关实现条件尚未验证。 作者报告,该方法在若干下游任务中表现更优,获得了迁移性更强的时间表征,并认为多 patch 预测比传统对比学习或掩码重建更有效地捕获 patch 表征中的时间动态。摘要未给出任务与数据集名称、划分协议、对照配置或具体指标,尚不能据此判断优势幅度及适用范围;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其机制可能为 EEG 时间表征预训练提供候选方案,假设局部片段的可预测性能够保留与下游任务相关的动态信息。可复用的是下一 patch/多 patch 预测训练思路,需适配多通道输入、采样率及片段解码方式。低信噪比可能使模型偏向预测伪迹或背景节律,跨被试及通道变化可能削弱迁移,小数据条件下 LLM 适配也可能不稳定。一个可检验的小实验是在固定 EEG 数据划分、骨干与训练预算下,对比多 patch 预测和掩码重建预训练,并以相同下游分类流程评估跨被试表现,核查预训练数据与测试被试是否隔离。已有 EEG 相关工作尚未检索确认。
值得核对的是 aLLM4TS 将下一 patch 持续预训练、多 patch 预测微调与 patch-wise 解码结合的机制,但其相对对比学习和掩码重建的优势及向 EEG 迁移的有效性尚未验证。
来源:OpenReview · Representation learning · openreview.net