Morpheus-2.0:基于双轴注意力的多尺度概率预测
Morpheus-2.0: Multiscale Probabilistic Forecasting with Dual-Axis Attention
基于摘要分析。Morpheus-2.0 面向通用时序预测中目标与协变量数量、预测长度及采样分辨率各异的问题,提出紧凑的纯编码器基础模型,将目标与协变量统一表示为变量—时间网格,并以双轴注意力联合建模变量间和时间上的关系。 其核心机制是在每一层并行执行两类注意力:同一时刻跨变量的注意力,以及同一变量内部跨时间的注意力;可学习门控逐层加权两者,轴感知旋转位置编码保留两个网格坐标。训练时采样预测长度,使同一套权重覆盖短期至长期预测;摘要称这一设计不增加推理成本,但具体成本比较条件尚未验证。Morpheus-2.0 Multiscale 进一步同时处理多个时间分辨率,并依据待预测序列为不同尺度赋权。相较于摘要所述的逐序列处理或分块处理两类关系的方法,其区别在于逐层并行交互与可变预测长度训练。 作者报告,在覆盖多个领域与采样频率的 GIFT-Eval 上,81M 参数的 Morpheus-2.0 获得 0.685 relative MASE;规模更大的 Morpheus-2.0 Multiscale 获得 0.646 relative MASE 和 0.455 relative CRPS。作者称后者在这两项指标上低于所有已发表系统;该比较的基线范围、指标归一化方式、数据划分、预训练数据与评测集关系,以及消融和统计信息尚未验证。摘要未说明权重或代码是否开放。 平台推测(待验证):若将 EEG 通道视为变量,双轴注意力可能用于同时刻跨通道依赖与通道内时序关系建模,多尺度机制则可能适配不同时间尺度的动态;这是假设,不是已验证的 BCI 效果。原方法依赖目标、协变量与时间网格的对应关系,迁移时需改造通道身份与位置表示、尺度设置及任务输出。低信噪比、跨被试差异、通道配置变化和小样本可能使变量关系失稳。可先在固定通道的 EEG 预测任务中,采用相同被试内划分与训练预算,对照仅时间注意力和双轴注意力,检验跨通道建模是否改善留出时段预测;该实验不能替代 BCI 解码验证。已有相关 EEG 工作尚未检索确认。
值得核对其逐层并行变量—时间注意力与多尺度预测机制能否在异构时序中兼顾精度和模型规模,但摘要报告的 GIFT-Eval 结果尚不足以证明 EEG/BCI 适用性。
来源:arXiv · 时序与音频基础模型 · arxiv.org