Belief State Transformer：信念状态 Transformer

基于摘要分析。该研究面向序列预测与目标条件文本生成，提出 Belief State Transformer：同时输入前缀和后缀，联合预测前缀的下一个 token 与后缀的前一个 token，以学习包含预测所需相关信息的紧凑 belief state（信念状态）。主要研究对象是通用序列建模与文本生成，并非 EEG 或 BCI。 核心机制是让序列两端的信息共同参与预测，而非仅采用常规 Transformer 的单向前向预测。摘要明确了双向预测目标，但未给出具体损失形式、状态构造、网络结构及训练与推理流程；因此尚不能判断紧凑状态如何形成，或推理时如何使用已知与未知的后缀。 作者报告，在具有已知前缀和后缀的故事写作任务中，该方法在达成已知目标方面优于 Fill-in-the-Middle，并在目标未知时也有性能改善。作者还报告，消融实验显示各组件在标准 Transformer 难以处理的场景中均发挥必要作用，并在小规模问题上改善目标条件解码效率、测试时推理和文本表示质量。摘要未提供数据集、划分、指标、数值、计算成本或消融配置，实验协议、消融及统计信息尚未验证，不能据此推断大规模任务表现。 平台推测（待验证）：若 EEG 任务具有可用的前后文，例如离线缺失片段重建，联合两端预测可能为上下文状态学习提供机制启发。该假设依赖可用后缀及适合连续信号的监督目标；可借鉴双端上下文预测思想，但需改造 EEG 输入表示与预测目标，不能直接沿用文本 token 任务。低信噪比、跨被试与跨通道差异、小数据条件均可能削弱状态学习；在线因果 BCI 通常无法获得后缀，也限制了直接应用。可在相同数据划分与模型容量下，以离线 EEG 片段重建比较仅前缀预测和前后缀联合预测，并检验重建误差是否稳定改善。已有 EEG 相关工作尚未检索确认，此实验仅用于检验迁移假设。