HART：混合 Attention-RWKV 时序基础模型

基于摘要分析。本文研究时序基础模型在非自回归多步预测（NAF）中如何保持长期历史信息，提出交替使用 attention 与 RWKV 模块的 HART，将对历史 token 的直接访问与递归时序建模结合。其主要研究对象是通用时序预测，而非 EEG 或 BCI。 在该 NAF 设置中，模型一次前向传播预测整个未来区间，未来 patch 被表示为缺失输入，因此递归状态需要在没有新观测的情况下持续演化。作者从 RWKV-7 的 generalized delta rule 出发，提出 Placeholder Idling Decay（PID）机制解释：若占位输入驱动的写入不足以补偿反复状态转移，历史信息可能逐渐衰减。作者报告，多数层在预测区域的状态注入范数降低，而状态转移矩阵范数与历史区域相近；这些现象与 PID 解释一致，但不宜据摘要视为完整因果证明。 作者报告，在 GIFT-Eval 和 TIME-Benchmark 的受控实验中，HART 相比纯 RWKV 改善中长预测范围表现，同时保持相近的短范围表现，且汇总表现优于参数规模相当的纯 Transformer。在 GIFT-Eval 的长预测范围评估中，作者报告 36M 参数的 HART 获得 MASE 0.752，Toto-2.0-1B 为 0.754，参数量约为后者的 1/28。这是特定基准及指标下的接近结果，不能扩展为所有任务上的等效表现。具体数据划分、预测长度、预训练数据、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 任务同样以缺失未来 patch 进行一次性长范围预测，PID 诊断及历史 token 直接访问机制可能具有参考价值；这一对应关系不直接适用于运动想象分类等任务。可复用混合模块与状态范数诊断，但需改造多通道输入表示及预测目标，并核对训练数据规模与监督方式。低信噪比、跨被试差异、通道变化及小数据均可能削弱收益。一个可证伪的小实验是固定 EEG 数据划分、训练预算和预测目标，对比参数规模相近的 RWKV 与 HART，随预测范围增加同步观察预测误差及状态注入范数，检验衰减现象与性能改善是否共同出现。已有 EEG 相关工作尚未检索确认。