时序基础模型的尺度不变训练

基于摘要分析。本文研究时序基础模型在混合不同数值尺度的数据集上训练时，损失计算方式如何改变各序列的训练权重，提出在缩放后的目标上计算损失的尺度不变训练（ScaleIn），并给出理论分析与预测实验。 核心机制是区分输入归一化与损失计算空间。作者指出，Reversible Instance Normalization（ReVIN）等仿射缩放方法若在计算损失前逆变换回原始尺度，相比在缩放目标上计算损失，每条序列的梯度会被乘以 b^p，其中 b 为缩放分母（如标准差），p 为损失的齐次次数。作者将其称为尺度污染训练（ScaleCon）：原始数值尺度成为隐式重要性权重，使大尺度序列主导训练。作者证明，在缩放器具有尺度等变性、残差损失为 p 次齐次函数的条件下，ScaleIn 可使每个 mini-batch 的梯度及整个优化轨迹对训练序列各自独立的任意重缩放保持不变；适用损失包括 MSE、MAE 和 Quantile Loss。这是有条件的尺度不变性结论，不等同于对所有归一化与损失组合均有效。 作者报告，在合成与真实数据的受控研究中观察到两类训练目标的收敛差异；在四种 TSFM 架构的预训练评估中，ScaleIn 在全部 24 个架构—基准比较中降低 MASE，各 TSFM 的平均降幅在 GIFT-Eval 上为 18.8%，在 M-competitions 上为 21.9%。作者还报告，在监督式神经预测的 20 个匹配设置中，有 16 个设置降低 MASE，并称多数现有预测流程可通过一行代码修改采用该方法。具体架构、训练规模、数据划分、基线配置、消融及统计信息尚未验证。 平台推测（待验证）：该机制可能对应 EEG 跨被试、跨会话或跨设备训练中的幅值差异，但原领域结果不等于 BCI 效果。可复用的是连续值预测或重建任务中缩放目标与损失空间的一致性；需核对按通道还是按试次缩放，以及逆变换的位置。若幅值本身包含任务信息，或低信噪比、小数据条件下尺度估计不稳定，等权化也可能削弱有效信号。一个可检验的小实验是在固定 EEG 预测划分、模型与随机种子的前提下，仅比较 ScaleCon 与 ScaleIn，并对训练序列独立重缩放，检验梯度一致性及测试误差；分类损失不能直接套用上述结论。已有 EEG 相关工作尚未检索确认。