Birdie：通过动态训练目标混合推进状态空间语言建模

基于摘要分析。本文研究状态空间模型（SSMs）在语言建模中难以完成上下文检索的问题，提出 Birdie 预训练流程，将输入的双向处理与动态预训练目标混合结合，以改善模型对固定大小状态的利用。主要研究对象是语言模型，而非 EEG 或 BCI。 机制与创新：摘要指出，线性循环神经网络及线性注意力变体等高效 SSMs 在文本复制、关联回忆等任务上存在困难；既有研究主要着眼于内部架构，本文转向训练流程。其核心路径是联合使用双向输入处理和动态目标混合，但具体目标组成、混合权重更新规则、双向处理方式、损失形式及推理阶段安排尚未验证，不能据此判断是否需要修改模型架构。 结果与证据：作者报告，该流程改善了电话簿查找、长段落问答及文本填空等检索密集型任务的表现，并将其视为缩小 SSMs 与 Transformers 性能差距的一条方向。摘要未提供具体分数、数据规模、训练预算或基线设置，不能量化差距缩小程度。实验协议、消融及统计信息尚未验证；复现需核对目标混合策略、训练数据、计算预算以及各任务的评估方法。 平台推测（待验证）：若 EEG 长序列任务确实受限于固定状态对远距离信息的保留能力，动态目标混合可能提供训练层面的改进思路。可考虑复用目标调度机制，将文本目标改造为适合连续、多通道信号的自监督目标；双向处理仅适用于允许访问完整片段的离线场景，不能直接用于因果在线解码。低信噪比、通道差异和小数据条件可能使训练偏向重建噪声，未必改善跨被试任务表现。一个可检验的小实验是在固定 SSM、数据划分与训练预算下，对比固定目标混合与动态混合，并以双向处理消融区分收益来源，分别报告预训练任务及下游 EEG 解码结果。已有 EEG 相关工作尚未检索确认，原文语言任务收益不构成 BCI 有效性的证据。