时序基础模型的统一缩放定律
A Unified Scaling Law for Time Series Foundation Models
基于摘要分析。该研究探讨模型容量与历史信息如何共同支持时序预测,提出 Unified Scaling Law 与 Unified Theory of Time Series Learning,分别用经验拟合和 Gaussian regression 理论分析容量、上下文及预测跨度的作用。 经验部分覆盖六个领域的 23 个 dataset-frequency 任务,分析 21 个检查点、18,768 个实验单元,包含不同历史窗口长度与预测跨度。作者将局部资源关系整合为五参数定律:容量增加的收益随历史长度增长,上下文收益逐渐趋于饱和,预测跨度效应表现为共同偏移。摘要未提供具体公式、任务清单、训练与评估划分,相关协议尚未验证。 作者报告,在拟合时排除 Toto 2.0 后,该定律对其按预测跨度平均的容量缩放曲线进行预测,在输入长度为 2048 和 4096 时,平均绝对百分比误差分别为 1.09% 和 1.50%。这些数值衡量的是缩放曲线预测误差,不能解读为时序预测任务本身的误差或性能提升。 理论部分用 Gaussian regression 分析规则识别与预测能力。作者提出假设:full-shot 模型通过权重积累信息,而冻结的时序基础模型通过激活从历史中提取信息。作者报告,匹配历史条件的比较支持额外历史的预测价值;受控参数交换与激活干预提供证据,表明由历史提取的规则信息可被保留、跨查询复用,并恢复对长上下文预测的部分贡献。干预细节、消融及统计信息尚未验证。摘要声明代码与主要结果已公开,实际复现条件尚待核对。 平台推测(待验证):容量与历史长度的联合分析可能用于研究 EEG 长上下文预测的资源分配,但其前提是存在可跨时间复用的预测结构,并有足够数据区分容量与上下文效应。可复用的是缩放拟合和历史匹配对照思路,需改造输入表示、通道处理与跨被试评估;低信噪比、跨会话非平稳性和小数据可能使历史收益提前饱和或不稳定。一个可证伪的小实验是在固定 Cross-session 划分下联合改变模型容量与历史长度,检验该定律能否预测未参与拟合配置的误差曲线。已有 EEG 相关工作尚未检索确认。
该研究将模型容量、历史长度与预测跨度纳入统一拟合框架,并以未参与拟合的 Toto 2.0 检验容量缩放曲线预测,值得核对其适用范围与历史信息干预证据;对 EEG 的迁移价值尚未验证。
来源:arXiv · 时序与音频基础模型 · arxiv.org