跳到正文
arXiv · 在线与高效推理· Max Bourgeat·· 6 天前精选AI 评分73

每次预测需要多少计算?两种时间序列基础模型中的结构化块跳过

How Much Computation Does Every Forecast Need? Structured Block Skipping in Two Time-Series Foundation Models

AI 导读

基于摘要分析。研究针对时间序列基础模型对不同难度输入使用相同网络深度的问题,在预训练 Chronos-Bolt 与 TimesFM 2.5 中检验推理时跳过整个 Transformer 块的可行性。其贡献是验证两种架构中的结构化计算冗余,同时界定输入相关跳过策略距离实际部署仍存在的差距。 机制上,旁路直接避开原块的计算,且在全部块启用时精确保留稠密模型的行为。跳过掩码仅在校准窗口上选择,再在 ETTh1、Traffic、Weather 和 Exchange 的共 1,088 个留出窗口上评估。作者报告,在中等稀疏程度下,Chronos-Bolt 使用 7/11 个候选块、TimesFM 使用 16/20 个块时,各数据集平均相对预测质量变化较小,A100、batch-1 条件下的中位推理延迟分别降低 11.2% 和 13.4%。摘要未明确相对预测质量的具体指标定义。更激进的 TimesFM 块跳过进一步加速,但明显损害 Traffic 和 Weather 上的预测表现。 作者报告,相同计算预算下,不同掩码在不同窗口上占优;事后最优选择器在每个数据集上均显著优于最佳静态掩码。然而,数据集专属掩码的迁移表现不一致,Chronos 表征也未能支持可靠的未见域路由。因此,结果支持输入相关的计算分配机会,而非已经形成可部署的动态推理方法。实验协议细节、消融及统计信息尚未验证。 平台推测(待验证):假设 EEG 时间序列模型中也存在可跳过的整块冗余,可复用旁路与校准掩码搜索思路,但需适配 EEG 模型结构、通道布局及任务监督;本研究直接验证的是时间序列预测,不能视为 BCI 解码效果的证据。低信噪比、被试差异和小校准集可能使掩码选择不稳定。一个可证伪的小实验是在固定 EEG 预测任务及跨被试划分下,仅用训练或校准被试选择静态掩码,再比较留出被试上的原任务指标与同硬件延迟,检验加速是否伴随可接受的性能变化。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是其用真实推理延迟检验整块跳过的收益,并明确区分事后最优掩码所显示的动态推理潜力与尚未实现的可部署路由能力。

来源:arXiv · 在线与高效推理 · arxiv.org