沿序列长度维度并行化采用 Delta Rule 的线性 Transformer

基于摘要分析。本文研究采用 delta rule 的线性 Transformer（DeltaNet）在训练时难以沿序列长度维度并行的问题，提出利用 Householder 矩阵乘积的内存高效表示实现硬件高效训练的算法，并将其用于标准语言建模规模的训练。 机制与贡献：普通线性 Transformer 采用加性状态更新；摘要指出，改用 delta rule 的 DeltaNet 在关联回忆方面更有效，但既有训练算法的序列并行能力不足。本文的主要贡献是训练计算方法，而非提出 EEG 解码模型：通过高效计算 Householder 矩阵乘积，缓解这类状态更新的训练效率瓶颈。具体分块方式、计算复杂度、显存占用与实测吞吐尚未验证。 作者报告，在训练 1.3B 参数模型、使用 100B tokens 的语言建模设置下，DeltaNet 的困惑度与下游任务零样本表现优于 Mamba、GLA 等线性时间基线。作者还报告，两类混合架构——每隔一层加入滑动窗口注意力，或加入两个全局注意力层——优于强 Transformer 基线。摘要未提供具体分数、数据集及基线配置，实验协议、消融及统计信息尚未验证，不能据此量化优势或判断各组件的独立贡献。 平台推测（待验证）：若长时 EEG 建模存在状态记忆与训练并行效率瓶颈，该并行训练机制可能具有复用价值；这是机制迁移假设，并非已证实的 BCI 效果。可考虑复用 delta rule 状态更新与并行计算方法，但需改造连续信号输入、通道表示及训练目标。低信噪比可能使状态更新写入噪声，跨被试与通道差异、小数据规模也可能削弱收益。一个可证伪的小实验是：在固定 EEG 数据划分、输入表示与训练预算下，对照加性更新的线性 Transformer 和 DeltaNet，同时测量任务指标、吞吐及峰值显存，以区分建模收益和实现收益。已有 EEG 相关工作尚未检索确认。